background preloader

Logstash, ElasticSearch & Kibana

Facebook Twitter

Tutoriel sur l'installation et la configuration d'ElasticSearch (partie 1) ElasticSearch est un moteur de recherche open source qui fait beaucoup parler de lui.

Tutoriel sur l'installation et la configuration d'ElasticSearch (partie 1)

Et pour cause, il possède un atout majeur : il suffit de quelques minutes à peine pour disposer d'un moteur de recherche clusterisé, automatiquement sauvegardé et répliqué, interrogeable via une API REST et proposant toutes les fonctionnalités d'un moteur de recherche dernière génération. Malgré une prise en main rapide et une documentation officielle très complète, l'utilisation d'ElasticSearch peut devenir rapidement complexe pour qui n'a jamais utilisé de moteur de recherche. C'est pourquoi nous avons choisi de démarrer une nouvelle série d'articles, dans laquelle nous allons essayer de présenter les notions de base d'ElasticSearch et les fonctionnalités les plus utilisées de ce fantastique outil.

Dans cet article, nous verrons comment installer et configurer ElasticSearch. ElasticSearch est un projet open source développé en Java sous licence Apache2. II-A. II-B. . $ cd elasticsearch-0.19.11/ $ . V-A. Un ELK pour les gouverner tous (les logs…) Les avantages d’une centralisation des logs d’un système informatique complexe sont reconnus depuis longtemps par les hébergeurs.

Un ELK pour les gouverner tous (les logs…)

La mise en oeuvre d’une collecte centralisée basée sur syslog (via rsyslog ou syslog-ng) est donc maintenant un classique dans le cadre de l’exploitation de ces systèmes complexes. Néanmoins l’exploitation des masses d’informations contenues dans ces fichiers reste très limitée et fastidieuse tant qu’on a à faire à des fichiers texte sous forme brute. C’est là que des outils tels que Kibana (couplé à ElasticSearch) ou Splunk permettent d’aller vraiment plus loin en offrant des interfaces de recherche efficaces ainsi que la possibilité de produire des tableaux de bord permettant de suivre l’activité d’un système.

Avant de voir en détail comment nous avons traité ces trois problématiques, voici un schéma d’ensemble de l’architecture déployée. Transparence Le déploiement d’un service Beaver ne pose aucune difficulté et sa configuration est très simple. Conclusion. Kibana tuto. Kibana is a great tool for real time data analytics and simply being on this page has put you on your way to making the most of it!

Kibana tuto

If you have not downloaded Kibana yet, you can get it here: Download Kibana. We recommend you start this tutorial with a clean Elasticsearch instance. By the end of this document you will have: Imported some data Tried out the sample dashboard Searched your data Configured Kibana to point only at your new index instead of all indices We will assume you have already: Installed Elasticsearch on your workstation Have webserver installed on your workstation and have the distribution extracted into the configured document root. We will be using the entire collected works of Shakespeare as our example data. JSON, LOGSTASH, ELASTICSEARCH. Me voila avec ma stack ELK fraîchement installée.

JSON, LOGSTASH, ELASTICSEARCH

Voici un cas d'utilisation assez simple :Je recherche à insérer au fil de l'eau des documents JSON dans l'index ELASTICSEARCH. Pour ceci on peut le faire de plusieurs manières : Utiliser un ETL (ex. TALEND)Utiliser un programme manipulant l'API ELASTICSEARCHUtiliser LOGSTASH Cette dernière brique était dans un premier temps dédiée aux LOGS. Voici le cas (assez simple j'en conviens) que je vais mettre en place Configuration de LOGSTASH LOGSTASH s'exécute dans mon cas comme un agent. Input{ file{ codec => multiline{ pattern => "^. " what => previous } path => ["/home/alexandre/src/logstash/data/*.json"] sincedb_path => "/home/alexandre/src/logstash/.sincedb_path" start_position => "beginning" } } filter { json { source => message remove_field => message } } output{ stdout{} elasticsearch { embedded => false host => "localhost" cluster => "elasticsearch" node_name => "localhost" index => "index" index_type => "document" } }

Gestion des logs : Logstash, ElasticSearch & Kibana. Tout bon administrateur a un jour dû chercher une info à coup de grep, tail, awk dans les fichiers de logs des équipements qu'il gère.

Gestion des logs : Logstash, ElasticSearch & Kibana

Or la recherche est toujours un peu fastidieuse, avec les questions qui reviennent : "Où est-ce qu'ils sont ces logs ? ", "Et c'est quoi le format déjà ? ", "Tu connais le mot de passe pour se connecter sur le routeur ? ". Elasticsearch - Getting started workshop.