De mon utilisation de CozyCloud


Contexte

J’amasse des données depuis 1996. Ce n’est pas que je n’avais de données avant mais plutôt que le système que j’utilisais  est devenu inutilisable et que les sauvegardes l’étaient aussi. Je ne dirai pas que je suis devenu un obsédé de la sauvegarde. J’ai un NAS à la maison pour les sauvegardes et des serveurs dédiés que je transforme en VPS. Avoir des doublons ne m’inquiète pas. En revanche, amasser c’est bien mais il faut pouvoir retrouver ce que l’on recherche.

J’ai une approche tout est document : une conversation par messagerie est autant un document que les vieux documents PDF ou LaTeX qui trainent. Pour les documents web j’ai utilisé Annotea un certain temps mais le projet a perdu d’intérêt avec son absence d’implémentation suivie. Pour les vidéos j’utilisais du smil. Pour les livres et les recettes je me suis tourné vers des français (TEA, Open Food System – plus d’actualité depuis juin 2015) qui avaient promis des formats dédiés au stockage et au partage. Les promesses n’ont pas été tenues.

Bref, c’est faisable pour un poste fixe mais pénible à configurer et à maintenir. Le partage se fait avec des moyens classiques comme Seafile mais rien d’intégré. La récolte des documents est manuelle. C’est aussi compliqué à consulter à distance. Ce n’est pas l’outil que l’on peut installer en douce à la fin d’une install party pour booster l’acceptation de Linux avec des fonctionnalités cools.

La recherche

J’ai une forte habitude des systèmes de gestion de contenu et des grands frères pour entreprises. J’aurai pu monter mon propre outil mais je cherchais une approche plus novatrice. J’ai testé des outils comme Marmotta qui sont axé sur l’enrichissement mais peu pratique pour la navigation et le partage ou Seafile trop axé sur le partage et pas sur l’enrichissement.

Je me suis tourné vers les boîtes à outils du cloud avec 0wncloud et quelques autres. Le LAMP à plutôt tendance à me faire fuir : ce que l’on gagne en légèreté sur le serveur se paie lourd en nécessité de réinventer sans cesse la roue ou de gérer des dépendances de 5 lignes (cela vaut aussi pour l’écosystème Node.js).

Puis une startup a proposé de tenir un stand et une conférence sur l’outil qu’elle développait aux JDLL 2012. J’ai rencontré les développeurs et le concept m’a séduit. Tout le contenu des applications est stocké dans une base orientée document qui est synchronisable facilement. Pour commencer, j’ai testé dans une virtualbox pour évaluer l’installation et les besoins du serveur. Je ne le recommande pas : ce n’est pas utilisable en production et les limites que j’ai rencontré étaient celle de ma VM.

Installation et import des données.

J’ai choisi le mode facile avec un VPS et une image préinstallée. Quelques clics et ça démarre avec l’offre la plus basse (2Go RAM et 10Go SSD). Il a ensuite fallu que je fasse les mise-à-jour système et serveur car l’image n’était pas de première jeunesse. Un petit tour sur IRC a suffit pour mes quelques interrogations. Tout fonctionnait.

Le premier import proposé est celui- des données Google. En dehors des contacts et d’un agenda je n’y stocke rien. Ce fut un peu lent mais sans problème. En revanche, un compte IMAP me servant d’archive a mis en évidence plusieurs points gênant pour le grand public :

  • L’import est lent. Vraiment. Et il n’y a pas de jauge permettant d’estimer l’avancement du processus.
  • 2Go de RAM ce n’était pas assez. En fait si, mais c’est la consommation moyenne de mon instance sans compter le système. Donc ça swap (cf point précédent).
  • C’est de l’IMAP, l’import a repris à chaque redémarrage en tâche de fond (cf points précédents)

Au bout de deux jours j’ai regardé les logs système avec un développeur pour convenir que mon instance VPS était trop juste (j’utilisais le swap et je remplissais 95M de l’espace disque). Il m’a fallu attendre la fin de l’import de ce compte pour faire un nettoyage de la base (je suis redescendu à 80% d’occupation disque) et un passage à l’option supérieure du VPS. Pour le coût, je suis vraiment au large maintenant pour le prix d’un petit serveur dédié.

J’ai ensuite configuré 2 Rapsberry Pi pour avoir des instances secondaires locales en cas de besoin et l’application fonctionne bien pour android 7.0 depuis sa version 2.2. Les versions précédentes fonctionnaient bien avec android 6. La version desktop semble fonctionner.

J’ai encore eu quelques soucis sans doute liés à l’image VPS d’origine qui sont rentrées dans l’ordre avec l’aide des développeurs.

Les avantages et inconvénients de CozyCloud

En dehors de l’aspect synchronisation fort sympathique, Cozy Cloud c’est surtout un environnement de développement d’applications. Le but de ces application n’est pas la manipulation des données mais le stockage et, bientôt, l’enrichissement.

Je n’ai plus besoin d’aller télécharger mes factures chez mes fournisseurs, une application s’en charge. Les données de mon smartphones sont sauvegardées. Pour ma veille journalière je peut conserver un lien ou l’article complet. Une petite appli IRC (il manque du XMPP😉. Pour les mises-à-jour je reçoit les notifications via l’application android puis il suffit d’un clic. Petite ombre : pour importer mes flux OPML de Newsblur vers ZeroFeeds il m’a fallu rajouter l’extension ‘.opml’ au fichier. En revanche, pour mes projets collaboratifs j’utilise Taiga et Kallithea. Ce sont des données hors de la sphère personnelle.

À ce stade c’est l’outil idéal qui fait ce dont on a besoin et dont on oublie la complexité. Mais… non, en fait on oublie pas la complexité. Une application demande une installation manuelle dans le système (l’image VPS mal installée) et lorsqu’une erreur survient c’est vraiment galère de trouver les logs et de comprendre le problème. Grâce à npm, les applications s’installent et se mettent à jour.  Ou pas. C’est un problème général avec cet outil et pas un problème de CozyCloud. Nous sommes du coup assez loin d’un outil à mettre entre les mains d’un individu lambda.

Le dernier inconvénient : point de partage ou d’outil connectable. Un plugin Seafile ou XMPP me conviendrait. Lorsque j’ai des données à partager je les sélectionne et je mets à disposition sur un dépôt séparé. Lorsque j’ai fini je détruit le dépôt. Ce n’est pas un outil de travail en groupe mais bien un partage de données personnelles.

Enfin, à la fois un avantage et un inconvénient : chaque instance est personnelle et il n’est pas possible actuellement d’installer deux instances dans le même système. J’hésite à passer à une installation en docker (engine+compose+swarm) pour le VPS en gardant un rapsberry pi par personne physique. C’est plus la fonction de partage qui manque à mon goût qu’un système de mutualisation des instances.

Ce que j’aimerai maintenant c’est un  ou plusieurs systèmes d’indexation (Qwant ?) et d’amélioration (Marmotta ?). Je suis conscient que les fonctionnalités vont varier selon la puissance de l’hébergement. S’il y a déjà des tags dans un article que je marque ou que je sauvegarde j’aimerai pouvoir les avoirs automatiquement et aussi pouvoir rajouter les miens. Chaque application peut implémenter cela de son côté; si c’est un fonction du framework cela deviendra le standard. Avec la conteneurisation, cela peut être un ou plusieurs conteneurs en boîte noire disposant juste d’une API de requêtage.

Le livre Culture Libre de Lawrence Lessig disponible en français


Le fameux livre « Culture Libre » est enfin disponible en français sur lulu.com. Je ne vais pas paraphraser l’auteur ou la foultitude de blogueur qui en parle. C’est l’un de mes livres de chevets, un incontournable pour comprendre le mouvement du libre dans son ensemble et parfois aussi comment notre société s’est construite et vers quoi elle tend.

Pour ceux qui supporte l’anglais, allez faire un tour sur http://free-culture.cc/ pour comprendre la génèse du livre.

Toute mes pensées vont vers notre camarade Yves qui aurait tant aimé le partager avec nous et avec le public des JDLL et qui nous a quitté.

 

 

Installation de Movim


Movim est l’un des projets plus si récents que ça voulant faire émerger les réseaux sociaux décentralisés. Sa particularité est d’utiliser un protocole ouvert, XMPP, pour l’échange de données.
Dans le cadre de l’initiation aux logiciels libres au sein de la Licence Pro Colibre, j’ai voulu, naïvement, installer Movim pour faire goûter aux étudiants une nouvelle sensation de liberté. C’est un peu trop complexe de prime abord. Nous allons nous limiter à installer movim seul.

Récupération de l’archive

Tout d’abord, il faut récupérer l’archive et l’installer à un endroit utilisable par apache2 :
wget https://launchpad.net/movim/0.8/0.8.1/+download/movim-0.8.1.zip
Vérifions l’intégrité de l’archive avec md5 :
wget https://launchpad.net/movim/0.8/0.8.1/+download/movim-0.8.1.zip/+md5
md5sum -c +md5
#movim-0.8.1.zip: Réussi
Vérifions l’auteur de l’archive avec gnupg :
wget https://launchpad.net/movim/0.8/0.8.1/+download/movim-0.8.1.zip.asc
gpg --verify movim-0.8.1.zip.asc
# gpg: Signature faite le mar. 05 août 2014 00:08:11 CEST avec la clef RSA d'identifiant 1D3810D9
# gpg: Impossible de vérifier la signature : clef publique introuvable
gpg --search-keys 1D3810D9
gpg --verify movim-0.8.1.zip.asc
C’est bien Timothée Jaussoin qui a signé l’archive.

Installation de Movim

cd Téléchargements
mv ../movim-8.0.1.zip .
unzip movim-0.8.1.zip
sudo cp -r movim-0.8.1 /var/www/html/movim
sudo chown -R www-data:www-data /var/www/html/movim
sudo -H -s -u www-data
cd /var/www/html/movim
mv config/db.example.inc.php config/db.inc.php
editor config/db.inc.php
exit
Il faut maintenant éditer le fichier config/db.inc.php pour mettre les informations de connexion à la base MySQL.
Si vous n’avez pas encore créé votre base de données il faut le faire à la main avec un outil du type MySQL Workbench. N’oubliez pas de créer un utilisateur spécifique.
sudo apt-get install mysql-workbench mysql-server
Dans la foulée, installons les dépendances de movim :
sudo apt-get install php5 php5-curl php5-gd php5-mysql mysql-common mysql-client

Configuration de FPM et d’Apache2

Récupération des dépendances de PHP FPM :
sudo apt-get install libapache2-mod-fastcgi apache2-mpm-event apache2 php5-fpm
sudo a2enmod actions fastcgi alias
sudo service apache2 restart
Créer un fichier /etc/apache2/conf-available/php5-fpm.conf contenant la configuration ci-dessous :
<IfModule mod_fastcgi.c>
        AddHandler php5-fcgi .php
        Action php5-fcgi /php5-fcgi
        Alias /php5-fcgi /usr/lib/cgi-bin/php5-fcgi
        FastCgiExternalServer /usr/lib/cgi-bin/php5-fcgi -socket /var/run/php5-fpm.sock -idle-timeout 300 -pass-header Authorization
        <Directory /usr/lib/cgi-bin>
                Options ExecCGI FollowSymLinks
                SetHandler fastcgi-script
                Require all granted
        </Directory>
</IfModule>
Pour l’activer il faut passer par a2enconf
sudo a2enconf php5-fpm
sudo service apache2 restart

Configuration à rajouter à la fin du fichier /etc/php5/fpm/php-fpm.conf

[movim]
user = www-data
group = www-data
listen = 127.0.0.1:9001
listen.owner = www-data
listen.group = www-data
listen.mode = 0660
 
pm = ondemand
pm.max_children = 5
pm.start_servers = 2
pm.min_spare_servers = 1
pm.max_spare_servers = 3

request_terminate_timeout = 300
 
php_admin_value[open_basedir] = none
Puis redémarrer le service
sudo service php5-fpm restart

Configuration de Movim

Normalement, tout est intsallé. Il reste à configurer dans l’interface web :

http://localhost/movim/?q=admin

  • Passez le site en Français et avec la zone horaire de Pais.
  • Choisissez movim.eu comme serveur Bosh : http://movim.eu:5290/http-bind
  • Dans l’onglet des paramètres de la base de données, lancez la création des tables
  • Vérifiez votre configuration dans l’onglet suivant
Maintenant, il nous faut créer notre compte chez movim.eu en passant par notre nouvelle page d’accueil :

http://localhost/movim

Conclusion

Pas mal de petites choses n’étaient pas évidente dans la documentation actuelle. Par exemple un script de création de la base de données et d’un utilisateur associé facilitera la vie d’un installateur débutant (d’où l’utilisation de Workbench).
La prochaine étape est d’installer un serveur BOSH compatible avec toutes les fonctionnalités de Movim. Sûrement Metronome IM.
Update : Rajout de la gestion du timeout

Créer une carte vectorielle d’un lieu à partir d’OpenStreetMap


Depuis trois ans maintenant j’aide à organiser un événement en extérieur à Lyon. Notre problème récurrent est d’avoir des plans de bonnes qualités et de pouvoir les échanger dans des formats utilisables par tout le monde.  Nous avions utilisé OpenStreetMap pour créer un premier plan au format PNG il y a plusieurs années. Malheureusement, avec le temps et les multiples surcouches ce fichier était de plus en plus dégradé. Pas moyen de mettre la main sur un quelconque fichier vectoriel pour repartir sur un fichier propre.

Exporter des données depuis le site OpenStreetMap est plutôt simple :

http://www.openstreetmap.org/export#map=17/45.75817/4.84242

Dans mon cas j’ai sélectionné une zone comprise entre le pont Wilson et le pont de la Guillotière à Lyon. Vous obtenez un fichier map.osm près à l’emploi.

Restant que le format OSM n’est pas utilisable directement pour autre chose que de l’édition du plan. J’aimerai passer au format SVG qui est utilisable par Inkscape. Une rubrique est dédiée à ce sujet sur le site : Ways to create an SVG map from OpenStreetMap. Mais elle n’est pas à jour. Les méthodes décrites sont au mieux trop complexes, et pire plus valable.

Les méthodes les plus simples étaient liées au logiciel OSMARender qui n’est plus maintenu depuis un an. Là encore ce n’était pas très clair et il m’a fallu tâtonner un moment pour arriver à ce résultat :

svn co http://svn.openstreetmap.org/applications/rendering/osmarender
cd osmarender
cp ~/Downloads/map.osm stylesheets/data.osm
xsltproc -o ~/desktop/map.svg xslt/osmarender.xsl ./stylesheets/osm-map-features-z17.xml

Plan_vide_OSM

À partir de ce fichier map.svg vous pouvez travailler avec Inkscape pour nettoyer les précisions excédentaires et rajouter vos informations. Après quelques de travail cela permet d’avoir une version assez épurée.

WordPress n’acceptant pas les fichiers SVG je montre le résultat en PNG.

Les DRM dans Firefox, Mozilla s’incline et la Free Software Fondation tempête


Et si tout commençait par la fin ? Êtes-vous plutôt libristes ou opensource ? La cathédrale ou le bazar ? Apple, Microsoft ou Linux ?

C’est une question que je commence à entendre de plus en plus souvent. Cela fait bien marrer les contributeurs de BSD. Plus le temps passe, plus la FSF se radicalise en posant des jugements sur ce qui se passe sur internet. Ils se plaignent de tout se qui peux nuire à la liberté sans s’apercevoir qu’ils nous privent de la première des liberté : celle de choisir. J’ai le choix de croire en Dieu ou d’être athée. Avec le dispositif prévu par Mozilla, j’ai le choix de regarder une vidéo avec un DRM ou de refuser de la regarder.Si la FSF veut imposer la monoculture du logiciel libre, alors quelle différence avec les écosystèmes Apple et Microsoft ? Vivement un GNU/Hurd utilisable. Nous faudra-t-il renier Linux car il contient du code non GPLv3 ? Nous faudra-t-il passer à Mercurial (qui passera en GPLv3 pour l’occasion) parce que Git est trop proche du honnit Linux ? Faudra-t-il libérer tous les projets clients en GPLv3 avec la documentation en LaTeX ?

Liberté de partage, liberté d’étudier et liberté de choisir. S’il n’y a plus de discussion possible, je préfère ne plus être libriste. C’est une décision que j’ai prise il y a 10 ans en voyant la voie sans issue dans laquelle la FSF emmenait sa communauté. Je suis opensource.

Enhanced by Zemanta

How to setup your Plone core sprint


I promised to published this article last year but… well, no excuse. The topic is still hot as we work on in Arnhem in November 2013, 11 to 15 to finish it for Plone 5.

Here in Arnhem – Ploneconf 2012 Sprints – we are making a lot of sprint about a lot of different topics. As a newcomer in  sprint lead I did some mistakes.

  1. If you are working in the Plone core you must should a plip before the beginning of the sprint. It will be easier for other people  to follow your work some months later.
  2. For commiters, the main point is to check if you already give your contributor agreement back to the Plone Fundation. If you’re not there should be someone with blank agreements in your sprint to make things go easy.
  3. Once you know how many sprinters you have on your topic you must organize the area to be comfortable for all.
  4. Fing a way to show everybody the tasks that are on going and who is working on. My way is a whiteboard with post-its
  5. Prepare the technical parts before to start coding:
    • Identify all the packages you’re working on and create a remote branch for your plip. We were working at first on Products.CMFPlone, plone.app.content, plone.app.users, and after we also include plone.app.controlpanel in the list.
    • Don’t make a branch in buildout.coredev create a plips configuration file in the ‘plips‘ folder.Then run your buildout using this configuration file as master: bin/buildout -c plips/plip13260-cpy-removal.cfg
  6. Check if everybody have commit rights.
  7. If there’s a change in the plip configuration file notice it to everyone fast.
  8. Make regular internal reports to know who needs help or work🙂
  9. Write down what’s you’re doing on

For commiters, the main point is to check if you already give your contributor agreement back to the Plone Fundation.  If you’re not there should be someone with blank agreements in your sprint to make things go easy.
Commiters should also follow a process to make the pull going right:

  1. Have  fun
  2. After each plip configuration file update check if all plip eggs are well checkouted and if they are in the good branch
  3. When you start a task  create a local branch to avoiding conflicts before your merge
  4. Commit early, often
  5. Fetch and pull others commits before to merge
  6. Run tests without ‘-t
  7. Merge your work in the plip branch, not the master
  8. Test again before the push
  9. If you need help asks (I know, git is overcomplicated😉 )
  10. Have fun! Did I say it before?
  11. Have  a follow up plan and stay in touch

Thanks to Eric Steele for the first setup, Liz as the proposer of the sprint topic, Maurits as the technical leader and for all people around there that were working on that sprint.

Release upgrade to KUbuntu 13.10 Saucy


This time I got all errors you can have.

Before the upgrade I need to disable manually partners repository in /etc/apt/source.list.

Keep in mind to disable etc-keeper if you’re using it and if you choose btrfs to disable compression.

During the upgrade I got an error with updating initramfs. It was caused by initramfs-tools-ubuntu-touch so it’s safer to remove ubuntu-touch and initramfs-tools-ubuntu-touch before the upgrade if you don’t need them.

After i got to problems with grub :

Just after the kernel boot this message was displayed ten seconds :Error: environment block too small. It means that the file /boot/grub/grubenv is stucked to 1000 bytes instead of 1024 bytes.

Solution :

rm /boot/grub/grubenv
dpkg-reconfigure grub-pc

So, the kernel hangout during Btrfs scanning:

Still no solution. The scanning works in safe mode. Bugs reported in lauchpad suggests it’s an errors introduced in the kernel 3.11.0-12 and we should downgrade to 3.11.0-11 that is not available in generic flavour. I tried the lowlatency flavour without success. I tried too with the 3 last mainline kernels without success (https://wiki.ubuntu.com/Kernel/MainlineBuilds and http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.12-rc3-saucy/).

Using the safe mode the Btrfs scanning is performing well but at the end of the boot, lightdm doesn’t start. It freezes and you cannot kill it using Ctrl+c. There’s no log. I tried gdm and it fails too. I configured kdm as main display manager and now I can log in.

Then I launch KDE4/Plasma and kwin doesn’t like wayland :

kwin: error while loading shared libraries: libwayland-eg1.so.1: no such file or directory

This time I found no clue to fix that. It’s not really a succes.

Unity still works… in kernel safe mode. But I don’t have the menu to logout (‘unity –reset-icons’ doesn’t change anything but loosing my customizations).

Since 1996 I never got such a mess for an upgrade.

Plant UML


Example UML State diagram.

Example UML State diagram. (Photo credit: Wikipedia)

You want to do UML to have beautiful images to add in your documentation? Then Plant UML is done for you!

You just have to write a plain text file and launch the interpreter and you will obtain a pretty diagram:

@startuml
Alice -> Bob: Authentication Request
Bob --> Alice: Authentication Response
@enduml

The pro

  • it’s easy to follow in your favorite DCVS
  • it’s easy to learn with a very good documentation
  • it’s working on all plateform and generate good images
  • you can customize a lot

Cons:

  • it becomes really usable if you use the graphical editor
  • Order of declaration is important for the display

http://plantuml.sourceforge.net/

http://sourceforge.net/projects/plantumlqeditor/

How to use curl to test a REST API with a beautiful JSON indentation


How to get indented JSON with curl output

You need to install simplejson Python module in your environment, or python-simplejson.

curl [options] url | python -msimplejson.tool

An example with github APIv3

curl -s -H "Content-Type: application/json" -X GET \
     "https://api.github.com/repos/collective/collective.ckeditor" \
     | python -msimplejson.tool

How to display response headers and API errors with the JSON indentation

This command line have two problems :

  1. You cannot display response HTTP headers because it breaks simplejson parsing
  2. If you have an error with a request and you don’t know how to debug it.

You need to add two more options to push header response and error message in stderr: -S and -D /dev/stderr. Now you can test your API with all informations in one command:

curl -s -S -D /dev/stderr -u user:password \
     -H "Content-Type: application/json" -X GET \
     "http://myapi/v1/test/"

From curl manual:

  • -s no progress bar; stats report or errors are dislayed
  • -S display errors if -s is enable
  • -D dump the header in a file; here stderr to make them not interfer with json indentation
  • -u user and password for Basic HTTP Authentication
  • -H add header in the outgoing request
  • -X HTTP Command to launch. If you’re using Basic HTTP Authentication you must use -X GET

If someone have tip to add pygment coloration in json and headers I will be glad to share the ownership of this article.

L’ALDIL, une association d’utilisateurs de logiciels libres


Cela sonne comme une évidence mais il est bon parfois de le rappeler.

En tant qu’association de promotion du Logiciel Libre ses membres sont amenés à pendre contacts avec des institutionnels et à participer à des tables rondes ou des rencontres impliquant des professionnels de différents secteurs. Dans ce contexte il nous est souvent demandé directement ou en marge une liste de contacts professionnels pour des formations, du conseil, des audits, ou d’autres prestations. Ces démarches sont plutôt de bons indicateurs de la bonne santé du Logiciel Libre et de la place de l’ALDIL dans l’écosystème local, mais généralement nous préférons botter en touche et nous demandons au requérant de faire un annonce publique. Je l’ai encore répété lors de la dernière réunion de l’Open ADIRA (la branche Open Source de l’Association pour le Développement de l’Informatique en Rhône-Alpes).

Dans notre zone d’activité c’est au nouvellement formé PLOSS-RA de tenir ce type d’annuaire. Pour l’instant, le site contient juste une liste de sociétés membres mais elle devrait rapidement s’enrichir et proposer un système de sélection par facette par rapport aux domaines de compétences et aux services fournis par chaque entreprise.

L’ALDIL est le partenaire idéal lorsqu’il s’agit de préparer des conférences ou des ateliers avec des utilisateurs avertis ou des développeurs. Elle peut aussi servir de relais aux initiatives tournant autour de la culture libre (musique, film, agriculture,…). Nos partenaires apprécient notre neutralité et nous comptons bien la garder.