PROJET AUTOBLOG


Planet-Libre

source: Planet-Libre

⇐ retour index

Littlewing : Intégrer la base adresse nationale dans Elasticsearch

mercredi 20 mai 2015 à 10:38

L’état fourni désormais via sa plateforme OPENDATA son référentiel des adresses du territoire français.

Si vous souhaitez avoir plus d’informations sur la démarche OPENDATA, vous pouvez consulter cette page.

Cette base est issue des données de l’IGN, de la poste, des collectivités territoriales ou encore de la communauté openstreetmap.

Chaque adresse contient le nom normalisé ainsi que les coordonnées .

Voici le descriptif des données.

Les cas d’utilisation de ces données sont nombreux. L’un deux pourrait être de les utiliser dans les recherches d’adresses. Il faudrait charger ses données dans un moteur de recherche (ELASTICSEARCH par ex.)  et de rechercher la présence d’une adresse avec pondération selon plusieurs critères ( avec filtres, recherches complexes ) et d’obtenir l’adresse normalisée et les coordonnées géographiques .

Je vais essayer de décrire les actions que j’ai réalisé pour intégrer ces données.

Architecture mise en œuvre

Présentation1

Les fichiers CSV sont placés dans un répertoire. L’archive téléchargeable contient un fichier CSV par département.

LOGSTASH joue ici pleinement le rôle d’un ETL.

Configuration LOGSTASH

La configuration est assez simple. Il suffit de savoir configurer le plugin CSV de LOGSTASH.

input {
  file {
    codec =>plain{
    charset => "ISO-8859-1"
    }
    path => ["/ban/**.csv"]
    sincedb_path => "logstash/.sincedb_path"
    start_position => "beginning"
  }
}
filter {
    # suppression des en-tetes
    if [message] =~ /^"id";"nom_voie"/ {
    drop { }
    }
     csv {
    columns =>["id","nom_voie","id_fantoir","numero","rep","code_insee","code_post","alias","nom_ld","nom_afnor","libelle_acheminement","x","y","lon","lat","nom_commune"]
    separator => ";"
    source => message
  }
  
  mutate {
# configuration des coordonnees
    rename => [ "lat", "[location][lat]", "lon", "[location][lon]" ]
    add_field => { "lonlat" => [ "%{[location][lon]}", "%{[location][lat]}" ] }
  }
  # conversion des champs pour qu elasticsearch les comprennent en coordonnees
   mutate {
    convert => [ "[location][lat]", "float" ]
    convert => [ "[location][lon]", "float" ]
    convert => [ "[lonlat]", "float" ]
    convert => [ "[lon]", "float" ]
    convert => [ "[lat]", "float" ]
    }
}

output {
    elasticsearch {
    embedded => false
    protocol => "http"
    host => "localhost"
    cluster => "elasticsearch"
    node_name => "localhost"
    index => "ban"
    index_type => "address"
    workers => 8
    document_id => "%{id}"
  }
}

 ELASTICSEARCH

Le mapping généré par LOGSTASH est assez basique mais permet déjà de réaliser pas mal de requêtes. On peut également brancher KIBANA pour analyser plus finement les données.

Voici un exemple de recherche que l’on peut exécuter :

get /ban/address/_search 
{
  "query" :{
    "match": {
      "libelle_acheminement" : "vec"
    }
  }
}

J’essaierai dans un prochain article e brancher kibana sur cet index pour avoir plus de stats.

Gravatar de Littlewing
Original post of Littlewing.Votez pour ce billet sur Planet Libre.

mozillaZine-fr : Firefox Developer Edition 40 propose d’utiliser le multi-processus

mercredi 20 mai 2015 à 08:09

Firefox Developer EditionDans cet article du blog Mozilla Hacks, on peut lire que la version spéciale pour développeurs de Firefox 40 propose d’essayer le multi-processus. C’est le signe d’un petit pas de plus dans le projet Electrolysis (nom de code e10s), dont l’objectif est de rendre l’interface utilisateur de Firefox plus réactive. Étant donné que l’interface utilisateur est la seule chose qu’on voit, par définition, la sensation d’un navigateur plus rapide dépend énormément de ce genre de petit détail. Mais « en coulisses », il ne s’agit pas d’un détail d’implémentation mais d’un gros chantier avec des impacts un peu partout, ce qui explique la longueur du projet. À suivre…

Gravatar de mozillaZine-fr
Original post of mozillaZine-fr.Votez pour ce billet sur Planet Libre.

Okki : L’icône hamburger

mardi 19 mai 2015 à 13:10
L’icône hamburger dans Gedit 3.16

La BBC a récemment publié un article sur l’icône hamburger, qu’on retrouve désormais sur un grand nombre de sites web, d’applications mobiles et autres environnements de bureau, et qui permet d’accéder à diverses options supplémentaires.

Créée au début des années 1980 par Norm Cox pour l’interface du Xerox Star, elle fut plus récemment reprise par l’application Path, avant d’être popularisée par le réseau social Facebook.

L’avantage étant, dans des interfaces que l’on souhaite de plus en plus épurées, de pouvoir facilement donner accès à une liste d’options supplémentaires, sans surcharger l’interface.

Cependant, bien que l’icône hamburger puisse fournir une manière cohérente d’accéder à ces options « cachées », diverses recherches semblent montrer qu’elle ne serait pas aussi fonctionnelle que certains aimeraient le croire.

Le développeur James Foster a conduit une étude à ce sujet durant plusieurs mois, et sa conclusion serait que trois barres horizontales n’auraient pas la même signification pour la plupart des gens, et qu’il serait donc facile de complètement passer à côté.

Le principal reproche étant que le menu hamburger est une icône abstraite, dont les gens apprennent la signification par la pratique. À l’inverse, par exemple, du menu d’un traitement de texte dont les icônes gras, italique ou souligné (a, a, a) indiquent clairement leur rôle, en montrant le résultat obtenu.

Durant ses nombreux tests sur la version mobile de son site, James Foster a remarqué qu’en écrivant le mot menu sous les trois barres, le bouton était utilisé 7,2% en plus, et que de mettre les trois barres dans une boîte, de sorte que ça ressemble plus à un bouton (ce qu’a choisi GNOME), faisait grimper le taux d’utilisation de 22,4%.

Mais pour la version traditionnelle du site, consultable depuis un ordinateur, il obtenait des résultats radicalement différents. Quatre variantes furent mises en place : la variante de base, avec simplement le mot MENU; une deuxième avec simplement le mot MORE (plus); ainsi que deux autres variantes, avec l’icône hamburger accompagnée des mots MENU ou MORE. Et pour ce test, les variantes 2, 3 et 4 obtenaient un taux d’utilisation inférieur de 18%, 31% et 43% au classique MENU.

Le journaliste des nouvelles technologies Glenn Fleishman raconte de son côté qu’il reçoit régulièrement des courriers d’utilisateurs lui demandant comment effectuer telle ou telle action. Et quand il répond qu’il faut cliquer sur les trois barres situées dans le coin supérieur de l’application, les gens demandent alors « oh, mais pourquoi vous l’avez caché là ? ».

Alors, pourquoi ne pas changer ? Dans le cas d’applications mobiles, les arguments avancés sont l’absence de traductions nécessaires (et les économies ainsi engendrées), ainsi que le gain de place obtenu. Tout le monde ne comprenant pas l’anglais, l’équivalent allemand au mot paramètres (settings, en anglais) est systemsteuerung, qui prendrait deux fois plus de place dans une interface.

Dans le même temps, et même si l’adoption se fait lentement, les développeurs et designers d’interfaces comptent sur le fait que petit à petit, tout le monde finira par connaître la signification de l’icône hamburger, et que ses avantages prendront ainsi le pas sur ses actuels inconvénients.

Gravatar de Okki
Original post of Okki.Votez pour ce billet sur Planet Libre.

Okki : Sortie de Lollypop 0.9.20

mardi 19 mai 2015 à 10:26
Le support des radios dans Lollypop 0.9.20

Cette nouvelle version de Lollypop apporte principalement le support des radios.

Par contre, de mes différents essais, de lui indiquer l’adresse fournie par les différentes radios pour les écouter depuis le navigateur, ne semble pas suffire, et il faut trouver nous même le flux associé qui pointe réellement vers un fichier musical (par exemple, un .mp3).

Dans le cas de Jazz Radio Manouche, ça ne sera donc pas

http://www.jazzradio.fr/radio/webradio/10/jazz-manouche

Mais

http://jazz-wr02.ice.infomaniak.ch/jazz-wr02-128.mp3

Il faut donc espérer que dans les prochaines versions, tout puisse se faire tout seul.

Hormis le support des radios, nous noterons également l’apparition d’une nouvelle vue Albums récents, la possibilité d’attribuer une note aux albums, l’ajout de l’aide en ligne (mais qu’on ne semble pas pouvoir invoquer depuis le raccourci habituel F1, obligeant à passer par le menu déporté). Sans oublier les habituels correctifs, dont un certain nombre concernent principalement Ubuntu.

Gravatar de Okki
Original post of Okki.Votez pour ce billet sur Planet Libre.

Articles similaires

Philippe Scoffoni : Consulter ses emails avec Owncloud, premier test de l’application Mail

mardi 19 mai 2015 à 07:53

owncloudC’est l’article de Dada qui m’a rappelé l’existence de ce projet de client Mail pour Owncloud. Ceux qui me lisent régulièrement se douteront que je suis de prime abord sceptique sur la valeur ajoutée du développement d’un nouveau webmail. Il existe pas mal de webmail libre aujourd’hui dont Roundcube qui voudrait faire peau neuve.

A un nouveau développement, j’aurais préféré par exemple l’amélioration de l’intégration de Roundcube. Celle-ci est déjà possible au travers d’une application complémentaire. Je suis d’ailleurs preneur de retour d’expérience sur son utilisation. Je sais que Roundcube se fait « vieux », alors pourquoi ne pas porter ses efforts sur les petits jeunes du moment comme Mailpile ou RainLoop ?

Je pense que comme souvent les développeurs auront de bonnes raisons pour avoir fait le choix de repartir de zéro. Je mets quand même un bémol à cette notion de « zéro », car l’application Mail d’Owncloud est quand même développée sur la base des bibliothèques de Horde.

J’ai donc installé l’application Mail pour voir le niveau d’avancement du projet. J’ai pour cela suivi les instructions données sur le site du projet pour ajouter l’application à mon installation Owncloud. De ce côté pas de difficulté, cela se fait en quelques lignes de commande. Il faut être un peu geek quand même…

J’ai ensuite activé l’application dans Owncloud et me suis rendu sur le module Mail pour découvrir la page d’accueil suivante :

mail owncloud installation configuration

Pour l’instant seul le protocole IMAP est supporté. Ce qui personnellement ne me semble pas du tout gênant. Je n’utilise plus ni ne conseille le protocole POP depuis déjà pas mal de temps sauf cas particulier. Il vous faut indiquer votre adresse mail et un nom pour le compte. À partir de l’adresse mail, l’application mail fait une recherche pour essayer de déterminer les informations de connexion de votre messagerie. Ce processus dit « d’autodécouverte » ne fonctionne pas avec tous les hébergeurs. Dans ce cas-là il vous faudra renseigner la configuration de façon manuelle. C’est ce que j’ai du faire, car ma messagerie professionnelle est gérée par mon serveur dédié.

La première connexion est un moment toujours particulier. Cela va-t-il fonctionner du premier coup ? Eh bien oui. C’est déjà un bon point. L’ergonomie du client Mail est assez classique avec à droite une zone affichant l’arborescence de vos dossiers. Suit une deuxième zone avec les listes des messages et une troisième avec le contenu des messages.

owncloud mail

L’interface est « flat », simple, propre et fluide. A l’usage il manque encore pas mal de fonctions, mais rappelons-nous, il s’agit d’une version de développement. Je n’ai pas trouvé comment gérer les lus/non-lus ou même la fonction de transfert. Au niveau de l’envoi des emails, il est possible d’attacher des pièces jointes que l’on sélectionne dans les fichiers Owncloud. Il manque à mon avis une case à cocher pour choisir si l’on souhaite envoyer le document complet ou simplement un lien. Actuellement c’est le document complet qui est envoyé.

Owncloud Mail mobileToujours dans les manques, pas de multisélection pour supprimer plusieurs emails d’un coup. Je n’ai pas trouvé non plus comment déplacer un email dans un dossier. Autant dire qu’il reste du boulot à l’équipe de développement. Par contre, les contacts Owncloud sont bien accessibles lors de la rédaction d’un nouvel email.

Une autre fonction intéressante serait la possibilité depuis l’interface de gestion des fichiers de créer un email en attachant automatiquement à ce dernier le ou les fichiers/répertoire sélectionnés. Comme toujours, facile d’avoir des idées :-) .

Pour finir, j’ai testé l’application Mail depuis mon smartphone et la résolution de ce dernier (540 x 960 pixels) ne semble pas suffisante pour permettre un affichage correct.

Au vu de ce test, le chemin à parcourir pour arriver ne serait-ce qu’au niveau du vieux Roundcube pour la gestion des emails semble encore long. Ce qui m’interroge à nouveau sur la pertinence d’un tel développement. Tout comme son cousin Cozycloud l’enjeu pour Owncloud est de proposer une solution tout-en-un. Mais le tout-en-un est un art complexe et l’ouverture du code ne semble pas pour autant faciliter cette approche et c’est bien dommage.

Le saviez-vous ?

A lire en préambule : Principe de fonctionnement du courrier électronique sur Internet

En IMAP, les emails restent stockés sur le serveur de messagerie. Lorsque vous consultez vos emails, ils sont soit :

Plus : Vous pouvez synchroniser plusieurs clients de messagerie de façon totalement transparente comme un smartphone, une tablette, un webmail et le logiciel Thunderbird installé sur son poste par exemple.

Moins : Cela nécessite donc de l’espace de stockage sur le serveur et vous êtes dépendant de la bonne sauvegarde de vos emails par le fournisseur de messagerie. Si vous synchronisez vos emails sur votre poste local, vous disposez cependant d’une forme de sauvegarde. Attention cependant si tous les mails sont effacés sur le serveur, à la synchronisation suivante, ils seront effacés sur votre poste. Une sauvegarde locale s’impose éventuellement.

En POP, les emails sont téléchargés par le client de messagerie, puis effacés du serveur. Il est éventuellement possible de demander à ce que les emails reçus soient conservés un certain nombre de jours sur le serveur « au cas où ». Car une fois supprimés du serveur, vos emails ne sont plus stockés qu’à un seul endroit. Il vous faut donc une sauvegarde si vous ne voulez pas tous les perdre.

Plus : (hésitation…) Protocole simple de mise en œuvre (comme IMAP) mais peut-être géré de façon plus propre par certains logiciels de messagerie (comme Outlook que je déconseille pour une utilisation en IMAP). Vos emails sont stockés sur votre poste de travail. Vous ne dépendez pas d’un tiers pour leur sauvegarde (soyez responsables !).

Moins : impossible de synchroniser proprement et simplement plusieurs clients de messagerie.

Temps de test et de rédaction : 3 h 30 minutes

Réagir à cet article

Article original écrit par Philippe Scoffoni le 19/05/2015. | Lien direct vers cet article

Cette création est mise à disposition sous un contrat Creative Commons BY à l'exception des images qui l'illustrent (celles-ci demeurent placées sous leur mention légale d'origine).

.

Gravatar de Philippe Scoffoni
Original post of Philippe Scoffoni.Votez pour ce billet sur Planet Libre.