background preloader

Tutoriel sur l'installation et la configuration d'ElasticSearch (partie 1)

Tutoriel sur l'installation et la configuration d'ElasticSearch (partie 1)
ElasticSearch est un moteur de recherche open source qui fait beaucoup parler de lui. Et pour cause, il possède un atout majeur : il suffit de quelques minutes à peine pour disposer d'un moteur de recherche clusterisé, automatiquement sauvegardé et répliqué, interrogeable via une API REST et proposant toutes les fonctionnalités d'un moteur de recherche dernière génération. Malgré une prise en main rapide et une documentation officielle très complète, l'utilisation d'ElasticSearch peut devenir rapidement complexe pour qui n'a jamais utilisé de moteur de recherche. C'est pourquoi nous avons choisi de démarrer une nouvelle série d'articles, dans laquelle nous allons essayer de présenter les notions de base d'ElasticSearch et les fonctionnalités les plus utilisées de ce fantastique outil. Dans cet article, nous verrons comment installer et configurer ElasticSearch. ElasticSearch est un projet open source développé en Java sous licence Apache2. II-A. II-B. $ cd elasticsearch-0.19.11/ $ . V-A.

http://zenika.developpez.com/tutoriels/java/installation-configuration-elasticsearch/

Related:  Logstash, ElasticSearch & KibanaelasticsearchInstallation

Un ELK pour les gouverner tous (les logs…) Les avantages d’une centralisation des logs d’un système informatique complexe sont reconnus depuis longtemps par les hébergeurs. La mise en oeuvre d’une collecte centralisée basée sur syslog (via rsyslog ou syslog-ng) est donc maintenant un classique dans le cadre de l’exploitation de ces systèmes complexes. Néanmoins l’exploitation des masses d’informations contenues dans ces fichiers reste très limitée et fastidieuse tant qu’on a à faire à des fichiers texte sous forme brute. C’est là que des outils tels que Kibana (couplé à ElasticSearch) ou Splunk permettent d’aller vraiment plus loin en offrant des interfaces de recherche efficaces ainsi que la possibilité de produire des tableaux de bord permettant de suivre l’activité d’un système.

Intégration d'Elasticsearch dans vos applications Symfony2 14 Commentaires La recherche est un domaine dans lequel les SGBD traditionnels sont particulièrement mauvais : pas d'agrégation ;lenteur proportionnelle à la taille des données ;pertinence complexe à calculer ;pas de scalling ;index à créer manuellement ; Et ça tombe bien, des logiciels dédiés à ces tâches existent : Lucene, Solr et le plus hype d'entre tous, Elasticsearch (ES pour les intimes). Il s'agit d'une application Java dans laquelle vous envoyez des documents JSON, et effectuez des recherches via une API REST avec des temps de réponses à faire rougir Usain Bolt. Configurer Elasticsearch de manière optimale Read the English version Ce billet traite d’elasticsearch qui est un moteur de recherche très puissant. La plus grande difficulté que nous avons rencontrée est que nous ne savions pas comment bien configurer Elasticsearch pour obtenir des résultats de recherche pertinents.

Kibana tuto Kibana is a great tool for real time data analytics and simply being on this page has put you on your way to making the most of it! If you have not downloaded Kibana yet, you can get it here: Download Kibana. We recommend you start this tutorial with a clean Elasticsearch instance. By the end of this document you will have: Elasticsearch Document oriented Store complex real world entities in Elasticsearch as structured JSON documents. All fields are indexed by default, and all the indices can be used in a single query, to return results at breath taking speed. Monitoring avec ELK - ElasticSearch Logstash et Kibana Bonsoir à tous! On va tenter dans cette série d’articles de mettre en place un système de centralisation de logs autour de la stak ELK de chez ElasticSearch, c’est une suite de produits de zinzin avec de grosses possibilités et une facilité de mise en oeuvre qui semble assez déconcertante, elle est composé de trois produits : 1/ Elasticsearch : Pour le stockage et le requêtage des infos (noSQL et Lucene) plus d’infos ici.2/ Logstash : Pour la reception, le transport et le parsing des logs, plus d’info ici (anglais). 3/ Kibana : Interface web de très haute qualité qui permet le requêtage d’Elasticsearch via les webservices le traitement et la mise en forme des informations, je vous laisse taper « kibana dashboard » dans google images pour vous faire une idée… Mais bon… Je précise également que je découvre aussi le sujet, si y’a des connaisseurs je suis preneur de tout conseil et commentaires sur le sujet. Installation de la stack ELK :

JSON, LOGSTASH, ELASTICSEARCH Me voila avec ma stack ELK fraîchement installée. Voici un cas d'utilisation assez simple :Je recherche à insérer au fil de l'eau des documents JSON dans l'index ELASTICSEARCH. Pour ceci on peut le faire de plusieurs manières : Utiliser un ETL (ex. TALEND)Utiliser un programme manipulant l'API ELASTICSEARCHUtiliser LOGSTASH Hosted full-text search, powered by ElasticSearch and One More Cloud Prepared for the Worst We’ve been in this business long enough to know that sometimes things break, and it’s our job to prepare for that. All of our production indexes are replicated across multiple data centers, we back up all of our data daily, and every deploy we run creates a fresh snapshot of our cluster data. Just in case.

Vos logs passent la seconde avec ELK (ElasticSearch – Logstash – Kibana) Les logs, éléments indispensables à toute application quelle qu’elle soit pour suivre, analyser et comprendre ce qui se passe et pouvoir intervenir en conséquence. Oui mais quand on a un éco-système d’applications assez riche, avec plusieurs environnements et que l’on veut consulter les logs voici le scénario qui peut parfois se produire : Je veux consulter les logs de telle application développée par tel service, ok elles sont où les logs? Je vais demander à l’équipe qui a développé.Bon j’ai le nom de la machine et le chemin, zut je ne peux pas me connecter avec mon compte et je n’ai pas les accès. Gestion des logs : Logstash, ElasticSearch & Kibana Tout bon administrateur a un jour dû chercher une info à coup de grep, tail, awk dans les fichiers de logs des équipements qu'il gère. Or la recherche est toujours un peu fastidieuse, avec les questions qui reviennent : "Où est-ce qu'ils sont ces logs ?", "Et c'est quoi le format déjà ?", "Tu connais le mot de passe pour se connecter sur le routeur ?". Si on peut mettre en place une récupération des logs de façon centralisée avec des outils connus comme syslog, le trio Logstash, ElasticSearch et Kibana est un très bon candidat pour gérer et trouver efficacement des informations dans les milliers de lignes de traces que peuvent générer les divers services.

Articles sur Elasticsearch Read the English version Au cours de récents projets, nous avons été amenés à travailler sur des moteurs de recherche dans des domaines complètement différents : 2 moteurs de recherche multi-critères front-office (orientés utilisateurs)2 moteurs de recherche multi-critère back-office (orientés administrateurs)un moteur de statistiques (calculs, aggrégations, sommes, moyennes, …) Réaliser ces moteurs sur une base de données se serait révélé coûteux (en temps de développement mais aussi au niveau des performances) pour des résultats mitigés (aussi bien au niveau statistiques, qu’au niveau recherche “texte”). Pour cela, nous nous sommes tournés vers Elasticsearch : moteur de recherche basé sur Lucene.

Intégrer Elasticsearch et Symfony2 Nous allons voir dans cet article comment nous pouvons ajouter une fonctionnalité de recherche avancée à Symfony2 en utilisant le moteur de recherche Elasticsearch. Prérequis Je considère en prérequis de ce post que vous avez déjà installé Symfony2 et Elasticsearch. Si vous n’avez pas encore installé Symfony2, vous pouvez vous référer à sa doc d’installation. Developpement Symfony2 - Lexik Montpellier Lors de la saisie d’adresses dans des formulaire, une source fréquente de problèmes est la saisie des villes et codes postaux: gestion des accents, minuscules ou majuscules, code postal ne correspondant pas à la ville, etc. Nous allons voir l’implémentation rudimentaire d’un autocomplete sur les noms et codes postaux des villes qui tient compte de ces soucis. Comme point de départ, nous allons partir d’une entité « City » qui possède les colonnes « name » et « zipcode ». La table correspondante est déjà alimentée avec les informations sur les communes françaises.

Related: