Accueil VPSie

Retour à la base de connaissances

elasticsearch, logstash et kibana

Contexte d'elasticsearch, logstash et kibana

C'est la première partie d'une série de tutoriels sur l'installation, la configuration et le déploiement d'elasticsearch, logstash et kibana sur Debian Jessie en utilisant le service VPS SSD de VPSie.
Elastic est l'entreprise derrière les trois projets open source – Elasticsearch, Logstash et Kibana — conçus pour extraire des données de n'importe quelle source et les rechercher, analyser et visualiser en temps réel. Elastic aide les gens à donner du sens aux données. Des cours de bourse aux flux Twitter, des journaux Apache aux blogs WordPress, nos produits étendent ce qui est possible avec les données, en respectant la promesse que les bonnes choses viennent de relier les points.

Attentes

Je suppose que vous avez déjà un service VPS et que vous savez comment déployer un VPS. Pour cette série de tutoriels, j'utiliserai VPSie comme service et je ferai également référence au VPS comme vpvisitsCe tutoriel ne couvrira pas l'installation de Debian Jessie sur vpsie. Pour cela, vous pouvez consulter leur blog. Après avoir clarifié tout cela, je suppose également que vous saurez comment vous connecter en SSH à votre VPS. Cela signifie que votre VPS aura un réseau entièrement fonctionnel configuré.

ELASTICSEARCH

D'abord, nous devons installer les dépendances. Elasticsearch nécessite que Java soit installé sur votre système avant l'installation d'Elasticsearch lui-même. Sur Debian/Ubuntu, vous devez effectuer les opérations suivantes :


#echo "deb http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" > /etc/apt/sources.list.d/webupd8team-java.list 
#echo "deb-src http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" >>  /etc/apt/sources.list.d/webupd8team-java.list
#apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys EEA14886 
#apt-get update 
#apt-get install -y oracle-java8-installer

Sur CentOS/Fedora, vous pouvez exécuter les commandes suivantes :

#yum install -y http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.rpm

Utilisez cette commande pour ajouter la clé apt et le dépôt apt au serveur VPSie sur Debian/Ubuntu :

#wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
OK
#echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list

Mettez ensuite à jour la liste qualifiée pour lire le stockage et installer Elasticsearch.

#apt-get update
#apt-get install -y elasticsearch

Sur CentOS/Fedora :

#rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

Créez un fichier nommé elasticsearch.repo dans le dossier /etc/yum.repos.d/ avec le contenu suivant :

[elasticsearch-2.x] 
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos 
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

Installez Elasticsearch en exécutant :

#yum install elasticsearch

Modifions le fichier de configuration d'Elasticsearch pour ajouter un nom de cluster.

Remarque : Le nom par défaut sera utilisé si le nom du cluster n'est pas spécifié.

Remarque : Si vous souhaitez avoir des clusters Elasticsearch séparés pour différents services, il est fortement recommandé d'utiliser des noms de cluster distincts, car sinon, les nœuds rejoindront automatiquement les groupes existants portant le nom par défaut.

Configurons maintenant le nom du cluster Elasticsearch en modifiant /etc/elasticsearch/elasticsearch.yml et en définissant un nom pour le cluster, comme dans cet exemple :

cluster.name: vpsie.io

Vous pouvez également sélectionner la variable node.name, sinon le cluster Elasticsearch attribuera un nom aléatoire à partir d'une liste de super-héros. Pour ce faire dans le même fichier de configuration, vous devez définir la variable node.name.

node.name: "Superman"

De nombreuses autres variables peuvent être définies, mais nous ne couvrirons que la configuration de base. Enregistrez votre fichier de configuration, puis configurez Elasticsearch pour un démarrage automatique au boot et démarrez le service.

#systemctl enable elasticsearch
#systemctl start elasticsearch

Si votre elasticsearch a démarré correctement en exécutant netstat -ntl, vous constaterez qu'il fonctionne sur deux ports distincts : 9200 et 9300. Le port 9200 est celui que vous utiliserez pour interroger les données de votre cluster elasticsearch.

Il peut également être utile d'installer des plugins tels que head et big desk dans elasticsearch.

cd /usr/share/elasticsearch

#cd /usr/share/elasticsearch
#bin/plugin -install mobz/elasticsearch-head

Redémarrez elasticsearch pour que les modifications prennent effet

#systemctl restart elasticsearch

Vous pouvez accéder aux plugins en naviguant vers l'IP de votre elasticsearch sur le port 9200, par exemple :

http://:9200/_plugin/plugin_name

Pour head, vous obtiendrez une page semblable à celle-ci :

pour bigdesk nodeview :

bigdesk-nodeview et pour bigdesk clusterview :

big desk-cluster view

LOGSTASH

Nous devons créer le dépôt pour installer logstash sur Debian/Ubuntu :

#echo "deb http://packages.elastic.co/logstash/2.1/debian stable main" | sudo tee -a /etc/apt/sources.list

Mettons à jour le dépôt et installons logstash

#apt-get update
#apt-get install -y logstash

Sur les systèmes Centos/Fedora, exécutez :

#cat > /etc/yum.repos.d/logstash.repo << EOF
[logstash-2.1] 
name=Logstash repository for 2.1.x packages 
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
EOF

Le fichier de configuration de Logstash se compose de trois parties principales. La première est l'input, où vous définissez la source d'information à partir de laquelle vous souhaitez charger les données dans elasticsearch.

Les filtres sont des codeurs où vous définissez les filtres à exécuter sur les informations chargées, et la sortie est l'endroit où vous configurez l'envoi des informations chargées et analysées.

Comme nous allons configurer logstash pour lire les informations depuis un serveur distant en entrée, nous utiliserons un plugin d'entrée appelé lumberjack.

Créons un certificat ssl à l'aide de la commande suivante :

#cd /etc/pki/tls
#openssl req -x509  -batch -nodes -newkey rsa:2048 -keyout private/vpsie.io.key -out certs/vpsie.io.crt -subj /CN=*.vpsie.io

Remarque : Vous pouvez utiliser le nom de domaine complet, l'adresse IP ou un domaine générique en tant que CN. Il est important que si vous utilisez l'adresse IP en tant que CN, vous deviez utiliser l'adresse IP du VPS sur lequel logstash est en cours d'exécution. Si votre logstash est derrière un NAT (Network Address Translation), je vous recommande vivement d'utiliser un domaine complet ou des domaines génériques, car sinon logstash rejettera toutes les connexions. Dans ce tutoriel, nous allons configurer elasticsearch pour stocker les journaux des journaux d'accès nginx.

Le fichier de configuration de base pour logstash se trouve à /etc/logstash/conf.d/.

Nous nommerons le fichier logstash.conf pour minimiser les confusions.

input {
    lumberjack {
            port => 5000
            type => "logs"
            ssl_certificate => "/etc/pki/tls/certs/vpsie.io.crt"
            ssl_key => "/etc/pki/tls/private/vpsie.io.key"
    }
}
filter {
    if [type] == "nginx-access" {
            grok {
                    match => { 'message' => '%{IPORHOST:clientip} %{NGUSER:indent} %{NGUSER:agent} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{URIPATHPARAM:request}(?: HTTP/%{NUMBER:httpversion})?|)\" %{NUMBER:answer} (?:%{NUMBER:byte}|-) (?:\"(?:%{URI:referrer}|-))\" (?:%{QS:referree}) %{QS:agent}' }
            }
      }
}
output {
    stdout {
            codec => rubydebug
      }
    elasticsearch {
            hosts => ["127.0.0.1:9200"]
            cluster => "vpsie.io"
            flush_size => 2000
      }
}

Il existe des motifs pour nginx que l'on peut trouver sur Internet, mais les informations des journaux peuvent varier selon la configuration de nginx. Vous pouvez utiliser un motif grok pour créer vos propres motifs qui fonctionneront avec les fichiers de journaux que vous générez.
Il existe deux excellents outils pour créer des motifs grok ou vérifier si un motif grok fonctionnera avec vos fichiers de journaux. Le premier s'appelle Grok Debugger et le second est Grok Incremental Constructor, qui est idéal pour construire vos propres motifs de manière incrémentale.

En regardant logstash.conf

La section d’entrée contient le plugin lumberjack, qui comprend :
Port – le port que logstash-forwarder utilisera pour se connecter à logstash type – le type d’informations qui sera fourni à logstash ssCertificat SSL le certificat généré pour se connecter à logstash sssilky la clé du certificat généré pour se connecter à logstash Dans la section de filtre, nous vérifions si le type est nginx-access et, si c’est le cas, nous appliquons le motif grok au journal.

À la sortie, d’abord, nous exécutons le codec ruby-debug, comme un journal de débogage, et envoyons également les résultats à elasticsearch sur localhost avec le nom de cluster vpsie.io.
Une fois votre logstash correctement configuré, vous devez le configurer pour démarrer au boot et le lancer.

#systemctl enable logstash
#systemctl start logstash

Une fois que logstash a démarré netstat -ntlp vous verrez qu’il écoute sur le port 5000.
logstash

KIBANA

Maintenant que logstash et elasticsearch sont en marche, il est temps d’installer kibana
Nous devons télécharger kibana sur notre serveur en utilisant la commande suivante :

#wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz

Une fois kibana téléchargé, nous devons l’extraire dans /opt :

#tar -xzvf kibana-4.1.1-linux-x64.tar.gz -C /opt

Nous devons maintenant renommer le dossier et configurer l’initialisation pour pouvoir l’exécuter en tant que service

#mv /opt/kibana-* /opt/kibana
#wget https://gist.githubusercontent.com/thisismitch/8b15ac909aed214ad04a/raw/bce61d85643c2dcdfbc2728c55a41dab444dca20/kibana4
#chmod +x /etc/init.d/kibana4
#sed -i '/^NAME/d' /etc/init.d/kibana4
#sed -i '/^KIBANA_BIN/a NAME=kibana4' /etc/init.d/kibana4

Maintenant que tout est en place, nous devons modifier le fichier de configuration de kibana pour définir l’adresse IP sur laquelle elasticsearch écoute. Si vous exécutez kibana depuis le même serveur que celui sur lequel elasticsearch est en cours d’exécution, vous n’avez rien à faire. Le fichier de configuration se trouve à /opt/kibana/config/kibana.yml et modifiez la ligne suivante en remplaçant localhost par l’adresse IP de votre elasticsearch :

elasticsearch_url: "http://localhost:9200"

Activons le script de démarrage et lançons le service kibana4

#update-rc.d kibana4 defaults
#service kibana4 start

Vous pourrez accéder à kibana en naviguant vers l'adresse suivante

http://{your IP address}:5601

Installons logstash-forwarder sur le serveur où nginx est en cours d'exécution et configurons-le pour envoyer les journaux à logstash.

LOGSTASH-FORWARDER

Connectez-vous à votre serveur distant et téléchargez le logstash-forwarder.crt depuis le serveur logstash, puis placez-le dans /etc/pki/tls/certs

#scp root@{logstash server IP}:/etc/pki/tls/certs/logstash-forwarder.crt /etc/pki/tls/certs/

Téléchargez le package logstash-forwarder correspondant à la distribution que vous utilisez depuis ici. Nous supposons que le serveur nginx fonctionne sous Debian, je vais donc télécharger le fichier deb. Pour centos, téléchargez le fichier RPM

Pour Debian, exécutez la commande suivante :

#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder_0.4.0_amd64.deb
#dpkg -i logstash-forwarder_0.4.0_amd64.deb

Pour Centos, exécutez la commande suivante :

#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
#yum install -y logstash-forwarder-0.4.0-1.x86_64.rpm

Ou vous pouvez utiliser directement :

#yum install -y https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm

Le fichier de configuration se trouve dans /etc/logstash-forwarder.conf.
Il est maintenant temps de le configurer pour récupérer les fichiers des journaux nginx et les envoyer à logstash.

{
  "network": {
    "servers": [ "elk.vpsie.io:5000" ],
    "ssl ca": "/etc/pki/tls/certs/vpsie.io.crt",
    "timeout": 15
  },
  "files": [
    {
       "paths": [ "/var/log/nginx/access.log" ],
      "fields": { "type": "nginx-access" }
    }
  ]
}

Comme je l'ai mentionné dans la section logstash, j'ai créé les certificats en tant que domaine générique car la pile elk est derrière le NAT et ne peut pas être accédée directement depuis le serveur sur lequel nginx est en cours d'exécution.

J'ai maintenant démarré logstash-forwarder avec nohup

#nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &

et configuré un crontab pour qu'il s'exécute au démarrage.

#crontab -e
@reboot nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &

Maintenant que nous avons configuré logstash forwarder pour lire access.log et envoyer les fichiers de journal à logstash, il est temps de configurer kibana pour créer des graphiques à partir de ces journaux.

Vous pouvez commencer à naviguer dans kibana en utilisant http://IP_address:5601

configuration de Kibana

Le nom du champ Time_field garantit que @timestamp est sélectionné, puis cliquez sur Créer pour indexer les journaux dans elasticsearch.
Après un certain temps, vous verrez les journaux apparaître dans le menu Discover :
kibana discover

Ces configurations de base pour la pile ELK seront complétées par des conceptions plus avancées dans les prochains jours, telles que la cartographie GEO et la création de visualisations et de tableaux de bord sur Kibana. Je vous montrerai bientôt comment faire charger les journaux généraux mysql par la pile elk.

Comment installer Nmap sur Ubuntu 20.04

FAQ

Qu'est-ce qu'Elasticsearch, Logstash et Kibana ?

Elasticsearch, Logstash et Kibana, connus collectivement sous le nom de pile ELK, sont des outils open source utilisés pour la recherche, l'analyse des journaux et la visualisation. Elasticsearch est un moteur de recherche qui stocke et indexe les données, Logstash est un pipeline de traitement des données qui ingère et transforme les données, et Kibana est une plateforme de visualisation qui vous permet d'interagir avec les données et de les analyser.

Quelles distributions sont compatibles avec la pile ELK ?

La pile ELK peut être installée et configurée sur diverses distributions, y compris Ubuntu, Debian, CentOS, Red Hat Enterprise Linux (RHEL) et Amazon Linux.

Comment installer Elasticsearch ?

Les étapes pour installer Elasticsearch peuvent varier légèrement selon la distribution que vous utilisez, mais voici les étapes générales :

  • Téléchargez le package Elasticsearch depuis le site officiel.
  • Décompressez le package et déplacez-le dans un répertoire de votre choix.
  • Exécutez Elasticsearch en lançant le script bin/elasticsearch.
Comment configurer Elasticsearch ?

Elasticsearch est livré avec une configuration par défaut qui convient à la plupart des utilisateurs, mais vous pouvez également personnaliser la configuration selon vos besoins. Voici les étapes de base :

  • Accédez au répertoire config situé dans le répertoire d'installation d'Elasticsearch.
  • Modifiez le fichier elasticsearch.yml pour spécifier le nom du cluster, le nom du nœud et les paramètres réseau.
  • Modifiez le fichier jvm.options pour spécifier les paramètres JVM.
Comment installer Logstash ?

Logstash utilise un fichier de configuration pour définir les entrées, les filtres et les sorties du pipeline de données. Voici les étapes de base :

  • Accédez au répertoire config situé dans le répertoire d'installation de Logstash.
  • Créez un nouveau fichier de configuration avec l'extension .conf.
  • Définissez les entrées, les filtres et les sorties dans le fichier de configuration en utilisant la syntaxe appropriée.
Comment configurer Logstash ?

Logstash utilise un fichier de configuration pour définir les entrées, les filtres et les sorties du pipeline de données. Voici les étapes de base :

  • Accédez au répertoire config situé dans le répertoire d'installation de Logstash.
  • Créez un nouveau fichier de configuration avec l'extension .conf.
  • Définissez les entrées, les filtres et les sorties dans le fichier de configuration en utilisant la syntaxe appropriée.
Comment installer Kibana ?

Les étapes pour installer Kibana peuvent varier légèrement selon la distribution utilisée, mais voici les étapes générales :

  • Téléchargez le package Kibana depuis le site officiel.
  • Décompressez le package et déplacez-le dans un répertoire de votre choix.
  • Exécutez Kibana en lançant le script bin/kibana.
Comment configurer Kibana ?

Kibana utilise un fichier de configuration pour définir les paramètres tels que l'hôte du serveur, le port et les options SSL. Voici les étapes de base :

  • Accédez au répertoire config situé dans le répertoire d'installation de Kibana.
  • Modifiez le fichier kibana.yml pour spécifier l'hôte du serveur, le port et les options SSL.
Comment intégrer Elasticsearch, Logstash et Kibana ?

Pour intégrer Elasticsearch, Logstash et Kibana, vous devez configurer Logstash pour envoyer les données à Elasticsearch, puis utiliser Kibana pour visualiser ces données. Voici les étapes de base :

  • Dans le fichier de configuration de Logstash, spécifiez Elasticsearch comme destination de sortie.
  • Démarrez Logstash et Elasticsearch.
  • Dans Kibana, créez un modèle d'index correspondant aux données envoyées par Logstash.
  • Utilisez les outils de visualisation de Kibana pour créer des visualisations et des tableaux de bord

Retour à la base de connaissances