Le premier Meetup Paris Monitoring s’est déroulé le 04 juin 2015, soit il y a un an.

Et pour son premier anniversaire, nous avons souhaité faire un bilan et interviewer l’organisateur Philippe Lewin (@PhilippeLewin) de Somone. Cette interview a eu lieu lors d’un… meetup Paris Monitoring, le dernier précédent l’anniversaire.

Aujourd’hui, le meetup Paris Monitoring c’est +600 membres, 7 reviews (toutes positives!), 6 meetups, 6 sponsors différents (dont deux ont sponsorisé deux fois!) : un vrai beau succès.

De plus, le principe d’organiser des meetups s’est diffusé et deux villes se sont ajoutées. Il existe aujourd’hui deux meetup monitoring (en dehors de Paris) à savoir le Meetup Nantes Monitoring et le Meetup Genève Monitoring. Si vous avez envie de voir un meetup s’organiser dans votre ville, contactez Philippe ou Monitoring-fr pour avoir des conseils!

Le prochain meetup Monitoring à Paris sera dédié à un logiciel de supervision bien connu en France : Zabbix. Fait très important : le créateur de Zabbix, Alexei Vladishev, sera présent et fera une intervention qu’il a promise très technique! Ce sera le jeudi 23 juin 2016, dans les locaux de la société Blablacar, sponsor de l’événement et utilisateur de Zabbix. C’est un meetup « enfant » du meetup Paris Monitoring : est-ce qu’il y aura d’autres meetup de ce type, dédié à d’autres logiciels? Est-ce la création d’un nouveau groupe séparé?

Enfin, nous avons voulu discuter avec Phlippe du futur du meetup Paris monitoring, des besoins de l’équipe d’organisation, des sujets annexes et comment améliorer le meetup : pas parce que celui-ci est mal organisé ou que les sujets ne plaisent pas! Non, bien au contraire : parce que les retours sont positifs, parce que les discussions post-présentations font émerger des sujets très intéressants, parce que des idées semblent naître! Bref, quel sera le futur du meetup Paris Monitoring?

Vous pouvez télécharger directement les fichiers MP3 ou OGG pour une écoute offline en cliquant sur les icônes correspondantes.

 

Original post of Monitoring-FR.Votez pour ce billet sur Planet Libre.

Si vous hébergez Gitlab sur Debian Jessie, alors la mise à jour de la version 8.4 à la version 8.5 vous aura sans doute demandé une version de Git plus récente que Git 2.1.4 actuellement disponible sur Jessie. Pas de panique : il est possible presque sans effort d'installer une version plus récente de Git depuis les dépôts testing/stretch.

Dans /etc/apt/sources.list, on ajoute ces lignes :

deb http://debian.mirrors.ovh.net/debian/ stretch main
deb-src http://debian.mirrors.ovh.net/debian/ stretch main

deb http://security.debian.org/ stretch/updates main
deb-src http://security.debian.org/ stretch/updates main

Il faut ensuite indiquer à la distribution l'ordre de priorité d'installation en plaçant dans un fichier /etc/apt/preferences.d/mes_priorites (le nom du fichier est tout à fait personnalisable) le contenu suivant :

ackage: *
Pin: release l=Debian-Security
Pin-Priority: 1000

Package: *
Pin: release a=stable
Pin-Priority: 999

Package: *
Pin: release a=testing
Pin-Priority: 50

Package: *
Pin: release a=unstable
Pin-Priority: 50

A ce stade, la commande apt update doit rapatrier les informations de la version testing/stretch mais ne doit pas automatiquement proposer une mise à jour car la priorité donnée à testing (& unstable) est bien moindre que celle donnée à la branche stable.

Pour forcer alors l'installation de la version de Git disponible dans testing/stretch, il faut exécuter :

apt install git/stretch git-man/stretch

Original post of Pierre-Alain Bandinelli.Votez pour ce billet sur Planet Libre.

Owncloud est un logiciel libre de partage de fichiers en ligne. Une sorte de Dropbox libre vous permettant d’avoir le total contrôle de vos données, de leur localisation et de leur diffusion.

Ce projet est actuellement porté par une société du même nom. Ceux qui me lisent depuis longtemps savent que ce n’est pas mon modèle préféré. Ce modèle conduit parfois (souvent ?) à l’apparition de versions entreprise dont la licence est non libre et à l’appauvrissement fonctionnel de la version libre ou souvent appelée communautaire. Heureusement, il y a pas mal d’exception et c’est tant mieux.

Owncloud n’a pas échappé à ce phénomène avec une version entreprise disposant de fonctions complémentaires à la version communautaire, ce qui provoque chez moi un léger désagrément…

La création d’une fondation pour ce logiciel me semble intéressante à plusieurs titres. Tout d’abord, cela montre la volonté des porteurs du projet de faire d’Owncloud un bien commun. C’est ensuite un signe positif en direction des contributeurs qui voient ainsi le fruit de leur travail placé entre des mains plus neutres.

Quelques doutes quand même à la lecture du chapitre concernant les licences, certains points m’interrogent et il faudrait à mon avis bien décortiquer le montage pour en comprendre toute la portée. Si je ne dis pas de bêtise, il y a un changement de licence au passage : de l’AGPL v3 à Apache 2.0. Un changement qui n’est pas neutre et qui offre probablement plus de liberté à Owncloud (la société) pour développer son offre entreprise.

La fondation reçoit aussi le droit d’utiliser la marque Owncloud et le domaine owncloud.org lui est transféré. De même en cas de disparition de la société Owncloud, il est prévu que la fondation récupère l’intégralité des droits, logos et autres au bout d’une période de 12 mois.

Que faut-il conclure de ces changements ? Mon impression est qu’en procédant ainsi, Owncloud externalise la partie open source d’Owncloud pour essayer de maximiser les contributions au projet. Contributions qu’il lui sera facile d’intégrer avec la nouvelle licence dans une version fermée « Entreprise ». Bien sûr, cela n’empêchera pas un autre acteur de faire de même.

Autre question, quel sera l’impact sur la politique de mise à jour de la version open source ? Va-ton toujours disposer de correctifs, mises à jour sur les versions N-1, N-2 comme aujourd’hui ?

Une nouvelle étape dans la vie de ce projet est en cours. Laissons le temps, nous apporter un éclairage sur cette nouvelle direction.

---

Réagir à cet article

Article original écrit par Philippe Scoffoni le 01/06/2016. | Lien direct vers cet article

Cette création est mise à disposition sous un contrat Creative Commons BY à l'exception des images qui l'illustrent (celles-ci demeurent placées sous leur mention légale d'origine).

.

Original post of Philippe Scoffoni.Votez pour ce billet sur Planet Libre.

Il y a fort fort longtemps, j’intégrais la base adresse nationale dans elasticsearch via logstash. Je ne suis pas allé plus loin faute de temps et peut-être d’envie.

Que peut-on faire avec ces quelques gigas de données me direz vous?

• Faire des recherches pour avoir les coordonnées géographiques d’une adresse donnée
• Faire une recherche pour avoir l’adresse normalisée
• Faire un rapprochement avec d’autres données (avec Spark par exemple)
• Sans doute plein d’autres use cases

Je vais m’attarder sur le deuxième point. A quoi ça sert ? et bien à avoir une adresse « propre » et utilisable par un système d’information (ex. ce que font les impôts, ou amazon). Il existe quelques solutions propriétaires qui réalisent ceci et sont assez chers. Je me suis donc mis dans la tête de le faire via elasticsearch.

Rappels des épisodes précédents

Voici le schéma de l’architecture

Pré-requis

• Installer Elasticsearch > 2.3
• Installer Logstash
• Récupérer l’archive de la base adresse nationale

Configuration Logstash

Voici ma configuration Logstash

input {
  file {
    codec =>plain{
    charset => "UTF-8"
    }
    path => ["./data/*.csv"]
    sincedb_path => "logstash/.sincedb_path"
    start_position => "beginning"
  }
}

filter {
	if [message] =~ /^"id";"nom_voie"/ {
	drop { }
	}
 	csv {
    columns => ["id","nom_voie","id_fantoir","numero","rep","code_insee","code_post","alias","nom_ld","nom_afnor","libelle_acheminement","x","y","lon","lat","nom_commune"]
    separator => ";"
	source => message
  }

  mutate {
    rename => [ "lat", "[location][lat]", "lon", "[location][lon]" ]
  }
   mutate {
    convert => [ "[location][lat]", "float" ]
    convert => [ "[location][lon]", "float" ]
    convert => [ "[lon]", "float" ]
    convert => [ "[lat]", "float" ]
    convert => ["[location]","float"]
    }
}


output {
        stdout{
        codec => "json"
        }
    elasticsearch {
    hosts => ["localhost"]
    index => "ban"
    document_type => "address"
    workers => 8
    document_id => "%{id}"
  }
}

J’ai configuré LOGSTASH pour réaliser les actions suivantes :

• extraction des données d’un fichier
• suppression de la ligne d’en-tête
• gestion de la localisation avec un champ de type ‘geo_point’.

C’est assez simple (pour l’instant)

Mapping ELASTICSEARCH

Analyzers

J’ai configuré les analyzers de la manière suivante:

"analysis": {
      "analyzer": {
        "ngram_analyzer": {
          "type": "custom",
          "tokenizer": "whitespace",
          "filter": [
            "lowercase",
            "asciifolding",
            "ngram_filter"
          ]
        },
        "whitespace_analyzer": {
          "type": "custom",
          "tokenizer": "whitespace",
          "filter": [
            "lowercase",
            "asciifolding"
          ]
        }
      },
      "filter": {
        "ngram_filter": {
          "type": "nGram",
          "min_gram": 3,
          "max_gram": 15,
          "token_chars": [
            "letter",
            "digit",
            "punctuation",
            "symbol"
          ]
        }
      }
    }

J’ analyse tous les mots (whitespace tokenizer) en minuscule en appliquant un filtre (ngram) permet de rechercher par caractère (ex. imp au lieu de impasse).

La c’est super couteux en espace disque et impose un plus gros traitement lors de l’insertion mais permet d’ alléger le temps de traitement des requêtes ( le gros du travail est fait lors du chargement).

Mapping

La je n’ai pas fait grand chose de particulier si ce n’est le typage des différents champs (ex. la localisation )

"location": {
               "type": "geo_point"
       
          }

Création de l’index

Dans sense ou via cUrl, lancer la commande suivante :

PUT /ban{...}

Pour le mapping complet, voir sur mon compte github

Chargement

voir mon article précédent

Interrogation

Maintenant je peux interroger mon index

Imaginons que je fasse saisir le code postal, la ville et l’adresse et que j’interroge elasticsearch pour obtenir une adresse normalisée

#/GET /ban/address/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "query": "rue",
            "type": "best_fields",
            "fields": [
              "nom_ld",
              "nom_afnor"
            ]
          }
        },
        {
          "match": {
            "nom_commune": {
              "query": "ville"
            }
          }
        }
      ],
      "filter": [
        {
          "term": {
            "code_post": "00000"
          }
        }
      ]
    }
  }
}

Conclusion

Ce n’est qu’un début. Ce n’est sans doute pas encore très performant, si vous avez des remarques, n’hésitez pas. En tout cas, les briques et outils décrits ci-dessus permettent de normaliser des adresses a minima avec des logiciels libres, ce qui n’est pas rien.

Les sources sont disponibles sur GITHUB. Je ne pense pas que je vais en faire un projet à proprement parler mais plutôt d’une boîte à outils pour manipuler ce genre de données. J’y ajouterai sans doute quelques recherches géospatiales et peut être l’ intégration de graph.

Original post of Littlewing.Votez pour ce billet sur Planet Libre.

Ce billet est en grande partie une version en français de mon billet en anglais Let's give Firefox Nightly some love! que j'ai publié il y a un peu moins de deux semaines.

Après une décennie dédiée à rendre les sites web Mozilla disponibles dans des dizaines de langues, à construire des communautés de traducteurs dans le monde entier et à créer des outils de contrôle qualité, des tableaux de bord et des APIs pour nous aider à livrer nos logiciels et sites dans toutes les langues, j'ai récemment quitté le département « Localization » afin de travailler sous les ordres de Doug Turner et de mettre en place un nouveau projet bénéficiant directement aux équipes Plateforme et Firefox !

Je suis désormais responsable d'un projet visant à faire de Nightly un canal maintenu part entière (tout comme nous avons les canaux Aurora, Bêta et Release) et dont l'objectif sera d'impliquer notre communauté d'utilisateurs les plus techniques dans le projet Mozilla à travers des activités ayant un impact mesurable sur la qualité même de nos logiciels.

Voici quelques uns des objectifs que j'aimerais nous voir atteindre en 2016-2017 :

• Doubler le nombre d'utilisateurs de Nightly afin de détecter beaucoup plus tôt les régressions, plantages et problèmes de compatibilité avec le Web. Une régression détectée et rapportée juste après que le patch la causant a été intégré sur mozilla-central est un simple backout (retour arrière) du dit code, cette même régression rapportée des semaines voir des mois plus tard via Aurora, Bêta ou bien même découverte sur la version en production de Firefox peut représenter un problème bien plus important.

• Faire de Firefox Nightly un véritable point d'entrée pour les utlisateurs les plus techniques souhaitant s'impliquer dans Mozilla et nous aider à livrer du logiciel (qualité, code, compatibilité web, sécurité…). Dans le cadre de Firefox bien sûr, mais aussi dans celui de tout projet Mozilla pouvant bénéficier d'une plus grande participation externe.

• Faire de Firefox Nightly un logiciel plus adapté à ces contributeurs techniques. Cela signifie dans un premier temps d'utiliser les canaux de communication qui y sont intégrés (about:home, tuiles, pages de premier démarrage et de mise à jour…) afin de communiquer des informations adaptées à une audience technique et proposer des ressources, des activités et des pistes techniques pour participer au projet Mozilla. J'ai aussi l'intention d'apporter une attention tout particulière à trois pays (l'Allemagne, la France et l'Espagneà) où nous avons des communautés locales fortes, des employés et des locaux pouvant accueillir des événements et nous permettant d'interagir plus facilement avec les bénévoles.

Je ne travaillerai pas seul sur ce projet, Sylvestre Ledru (Release Managment Lead) a créé une nouvelle équipe composée de Marcia Knous aux États-Unis et de Calixte Denizetr en France qui travaillera à améliorer la qualité du canal Nightly et analysera les plantages et régressions. Des membres d'autres départements (Participation, MDN, Security, Developer Relations…) ont aussi montré un grand intérêt pour ce projet et ont annoncé leur intention de s'impliquer.

Mais d'abord et avant tout, j'ai bien l'intention d'impliquer la communauté Mozilla et j'espère aussi attirer des personnes qui ne sont pas encore mozilliens et faire avec elles de ce projet « Nightly Reboot » un retentissant succès !

Quelques ressources pour s'implique :

• Il existe un canal IRC #nightly sur le serveur irc.mozilla.org, mon pseudo là bas est pascalc, n'hésitez-pas à m'y contacter si vous désirez apporter votre pierre à l'édifice, en savoir plus sur l'état du projet ou bien proposer vos propres idées (le canal est anglophone).

• Si vous désirez télécharger Nightly, rendez-vous sur nightly.mozfr.org et vous y trouverez des versions en français. Le site officiel de Mozilla est nightly.mozilla.org mais il ne propose que des versions en anglais et donner des retours sur la qualité de la traduction est aussi une manière d'améliorer Firefox !

• Si vous voulez découvrir au jour le jour tous les trucs sympa qui arrivent sur Nightly, suivez le compte Twitter @FirefoxNightly

• Si vous êtes déjà utilisateur de Nightly et que vous rapportez des bugs sur bugzilla.mozilla.org, ajoutez le texte [nightly-community] dans le champ whiteboard de vos rapports de bugs, cela nous permettra de mesurer l'impact de notre communauté Nightly sur Bugzilla.

Intéressé par ce projet ? N'hésitez-pas à vous impliquer et ne manquez-pas de me contacter si vous avez une suggestion ou une idée qui pourrait s'inscrire dans ce projet. Plusieurs personnes m'ont déjà donné des retours des plus intéressants !

Vous pouvez me contacter (en anglais, français ou espagnol) via les moyens de communication suivants : pascal À mozilla POINT com IRC sur Moznet et Freenode: pascalc Twitter: @pascalchevrel

Original post of Pascal Chevrel.Votez pour ce billet sur Planet Libre.