Bon ça faisait pas mal de temps que je n'avais pas posté un article. Je travaille actuellement sur les moteurs de recherche. Je suis actuellement en train de monter une architecture ELK (ELASTICSEARCH, LOGSTASH, KIBANA) pour pouvoir gérer l'insertion au fil de l'eau ou en BATCH de données dans le moteur de recherche ELASTICSEARCH.

Architecture et composants

L'architecture typique est la suivante :

On y retrouvera les éléments suivants :

Agents (shipper)

C'est un agent LOGSTASH qui prend désormais la place d'un ETL. Dans mon cas, il scanne un répertoire pour la présence et la modification de fichiers et les envoie au moteur de recherche ou au buffer

Buffer ou le Broker

C'est un cache permettant de découpler les envois de fichiers du moteur de recherche. La base NoSQL REDIS est la plus utilisée pour ce rôle

Indexer /Moteur de recherche

J'utilise ELASTICSEARCH pour ceci

Interface graphique

On utilisera le plugin Kibana d' ELASTICSEARCH

Je décrirai dans cet article l'installation de LOGSTASH et ELASTICSEARCH

Prérequis

Avoir installé un JDK (version 7 minimum)

Installation de LOGSTASH et ELASTICSEARCH

J'utilise les repository décrits sur le site d'elasticsearch

Lancer la commande suivante

#wget -qO - http://packages.elasticsearch.org/GPG-KEY-elasticsearch | sudo apt-key add -

Puis dans le fichier /etc/apt/sources.list.d/elasticsearch.list

deb http://packages.elasticsearch.org/elasticsearch/1.3/debian stable main
deb http://packages.elasticsearch.org/logstash/1.4/debian stable main

Lancer les commandes suivantes

#apt-get install logstash elasticsearch

Installation de KIBANA

Après avoir téléchargé l'archive, la placer dans le répertoire /var/www

cp kibana-3.1.1.tar.gz /var/www/
cd /var/www/
tar -zxf kibana-3.1.1.tar.gz 
mv kibana-3.1.1 kibana
vi kibana/config.js

Assigner l' URL d'elasticsearch

elasticsearch: "http://127.0.0.1:9200"

Redémarrer apache ( pas obligatoire, mais ça ne fait pas de mal....)

#service apache2 restart

Enfin on peut tester la connexion au portail KIBANA

Références

http://blog.xebia.fr/2013/12/12/logstash-elasticsearch-kibana-s01e02-analyse-orientee-business-de-vos-logs-applicatifs/

http://www.logstashbook.com/

Original post of Littlewing.Votez pour ce billet sur Planet Libre.