Inicio de VPSie

Volver a la base de conocimientos

elasticsearch, logstash y kibana

Antecedentes de elasticsearch, logstash y kibana

Esta es la primera parte de una serie de tutoriales sobre la instalación, configuración y establecimiento de elasticsearch, logstash y kibana en Debian Jessie usando el servicio VPS SSD de VPSie.
Elastic es la empresa detrás de los tres proyectos de código abierto: Elasticsearch, Logstash y Kibana, diseñados para obtener datos de cualquier fuente y buscarlos, analizarlos y visualizarlos en tiempo real. Elastic ayuda a las personas a dar sentido a los datos. Desde cotizaciones bursátiles hasta flujos de Twitter y registros de Apache hasta blogs de WordPress, nuestros productos amplían lo posible con los datos, cumpliendo la promesa de que las buenas cosas provienen de conectar los puntos.

Expectativas

Asumo que ya tiene un servicio VPS y conoce cómo desplegar un VPS. Para esta serie de tutoriales, usaré VPSie como servicio y también me referiré al VPS como vpvisits. Este tutorial no cubrirá la instalación de Debian Jessie en vpsie. Para ello, puede consultar su blog. Con todo esto aclarado, también asumo que sabrá cómo iniciar sesión en su VPS mediante SSH. Eso significa que su VPS tendrá una red completamente funcional configurada.

ELASTICSEARCH

Primero, debemos instalar las dependencias. Elasticsearch requiere que Java esté instalado en su sistema antes de instalar el propio Elasticsearch. En Debian/Ubuntu, debe realizar lo siguiente:


#echo "deb http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" > /etc/apt/sources.list.d/webupd8team-java.list 
#echo "deb-src http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" >>  /etc/apt/sources.list.d/webupd8team-java.list
#apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys EEA14886 
#apt-get update 
#apt-get install -y oracle-java8-installer

En CentOS/Fedora, puede ejecutar los siguientes comandos:

#yum install -y http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.rpm

Use este comando para agregar la clave de apt y el repositorio de apt al servidor de VPSie en Debian/Ubuntu:

#wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
OK
#echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list

Luego, actualice la lista de paquetes para leer el almacenamiento e instale Elasticsearch.

#apt-get update
#apt-get install -y elasticsearch

En CentOS/Fedora:

#rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

Cree un archivo llamado elasticsearch.repo en la carpeta /etc/yum.repos.d/ con el siguiente contenido:

[elasticsearch-2.x] 
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos 
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

Instale Elasticsearch ejecutando:

#yum install elasticsearch

Editemos el archivo de configuración de Elasticsearch y agreguemos un nombre de clúster.

Nota: Se usará el nombre predeterminado si no se especifica un nombre de clúster.

Nota: Si desea tener clústeres de Elasticsearch separados para diferentes servicios, se recomienda encarecidamente usar nombres de clúster separados, ya que de lo contrario, los nodos se unirán automáticamente a los grupos existentes con el nombre predeterminado.

Ahora, configuremos el nombre del clúster de Elasticsearch editando /etc/elasticsearch/elasticsearch.yml y estableciendo un nombre para el clúster, como en este ejemplo:

cluster.name: vpsie.io

También puede seleccionar la variable node.name; de lo contrario, el clúster de Elasticsearch asignará un nombre aleatorio de una lista de superhéroes. Para hacerlo en el mismo archivo de configuración, debe establecer la variable node.name.

node.name: "Superman"

Se pueden establecer muchas otras variables, pero solo cubriremos la configuración básica. Guarde su archivo de configuración, luego configure Elasticsearch para que se inicie automáticamente al arrancar y inicie el servicio.

#systemctl enable elasticsearch
#systemctl start elasticsearch

Si su elasticsearch se ha iniciado correctamente al ejecutar netstat -ntl, verá que elasticsearch está en ejecución en dos puertos diferentes: 9200 y 9300. El puerto 9200 es el que utilizará para consultar datos de su clúster de elasticsearch.

También puede ser útil instalar plugins como head y big desk en elasticsearch.

cd /usr/share/elasticsearch

#cd /usr/share/elasticsearch
#bin/plugin -install mobz/elasticsearch-head

Reinicie elasticsearch para que los cambios surtan efecto

#systemctl restart elasticsearch

Puede acceder a los plugins navegando a la IP de su elasticsearch en el puerto 9200, por ejemplo:

http://:9200/_plugin/plugin_name

Para head, obtendrá una página similar a esta:

para bigdesk nodeview:

bigdesk-nodeview y para bigdesk clusterview:

big desk-cluster view

LOGSTASH

Necesitamos crear el repositorio para instalar logstash en Debian/Ubuntu:

#echo "deb http://packages.elastic.co/logstash/2.1/debian stable main" | sudo tee -a /etc/apt/sources.list

Actualicemos el repositorio e instalemos logstash

#apt-get update
#apt-get install -y logstash

En los sistemas Centos/Fedora, ejecute:

#cat > /etc/yum.repos.d/logstash.repo << EOF
[logstash-2.1] 
name=Logstash repository for 2.1.x packages 
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
EOF

El archivo de configuración de Logstash consiste en tres partes principales; la primera es input, donde establece la fuente de información desde la que desea cargar los datos en elasticsearch.

Los filtros son los decodificadores donde configura los filtros que desea ejecutar sobre la información cargada, y la salida es donde configura la información cargada y analizada para ser enviada.

Dado que configuraremos logstash para leer la información desde un servidor remoto para la entrada, utilizaremos un plugin de entrada llamado lumberjack.

Cree el certificado ssl con el siguiente comando:

#cd /etc/pki/tls
#openssl req -x509  -batch -nodes -newkey rsa:2048 -keyout private/vpsie.io.key -out certs/vpsie.io.crt -subj /CN=*.vpsie.io

Nota: Puede usar como CN el nombre de dominio completo, la dirección IP o un nombre de dominio comodín. Es importante que si usa la dirección IP como CN, deberá usar la dirección IP del VPS donde se ejecuta logstash. Si tiene su logstash detrás de NAT (Network Address Translation), le sugiero encarecidamente usar un dominio completo o dominios comodín, ya que de lo contrario logstash descartará todas las conexiones. En este tutorial, haremos que elasticsearch almacene los registros de los registros de acceso de nginx.

El archivo de configuración básico para logstash se encuentra en /etc/logstash/conf.d/.

Nombraremos el archivo logstash.conf para evitar la mayor confusión posible.

input {
    lumberjack {
            port => 5000
            type => "logs"
            ssl_certificate => "/etc/pki/tls/certs/vpsie.io.crt"
            ssl_key => "/etc/pki/tls/private/vpsie.io.key"
    }
}
filter {
    if [type] == "nginx-access" {
            grok {
                    match => { 'message' => '%{IPORHOST:clientip} %{NGUSER:indent} %{NGUSER:agent} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{URIPATHPARAM:request}(?: HTTP/%{NUMBER:httpversion})?|)\" %{NUMBER:answer} (?:%{NUMBER:byte}|-) (?:\"(?:%{URI:referrer}|-))\" (?:%{QS:referree}) %{QS:agent}' }
            }
      }
}
output {
    stdout {
            codec => rubydebug
      }
    elasticsearch {
            hosts => ["127.0.0.1:9200"]
            cluster => "vpsie.io"
            flush_size => 2000
      }
}

Hay patrones para nginx que se pueden encontrar en internet, pero la información de los registros puede variar según la configuración de nginx. Puede usar el patrón grok para crear sus propios patrones que funcionen con los archivos de registro que está generando.
Hay dos excelentes herramientas para crear patrones grok o verificar si el patrón grok funcionará con sus archivos de registro. La primera se llama Grok Debugger y la segunda es Grok Incremental Constructor, que es excelente para construir sus propios patrones de forma incremental.

Al mirar logstash.conf

La sección de entrada tiene el plugin lumberjack, que contiene:
Port – el puerto que logstash-forwarder usará para conectarse a logstash type – el tipo de información que se proporcionará a logstash ssSSL certificate el certificado generado para conectarse a logstash sssilky la clave del certificado generado para conectarse a logstash En la sección de filtro, verificamos si el tipo es nginx-access y, si es verdadero, aplicamos el patrón grok al registro.

En la salida, primero, ejecutamos el codec ruby-debug, como un registro de depuración, y también enviamos los resultados a elasticsearch en localhost con el nombre de clúster vpsie.io.
Cuando su logstash esté configurado correctamente, debe configurarse para que inicie en el arranque y se inicie.

#systemctl enable logstash
#systemctl start logstash

Una vez que logstash se ha iniciado netstat -ntlp verá que está escuchando en el puerto 5000.
logstash

KIBANA

Ahora que tenemos logstash y elasticsearch en funcionamiento, es hora de instalar kibana
Necesitamos descargar kibana en nuestro servidor usando el siguiente comando:

#wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz

Una vez que kibana se ha descargado, necesitamos extraerlo en /opt:

#tar -xzvf kibana-4.1.1-linux-x64.tar.gz -C /opt

Ahora necesitamos renombrar la carpeta y configurar el init para poder ejecutarlo como un servicio

#mv /opt/kibana-* /opt/kibana
#wget https://gist.githubusercontent.com/thisismitch/8b15ac909aed214ad04a/raw/bce61d85643c2dcdfbc2728c55a41dab444dca20/kibana4
#chmod +x /etc/init.d/kibana4
#sed -i '/^NAME/d' /etc/init.d/kibana4
#sed -i '/^KIBANA_BIN/a NAME=kibana4' /etc/init.d/kibana4

Ahora que tenemos todo en su lugar, necesitamos editar el archivo de configuración de kibana para configurar la dirección IP donde elasticsearch está escuchando. Si está ejecutando kibana desde el mismo servidor donde se ejecuta elasticsearch, no necesita hacer nada. El archivo de configuración se encuentra en /opt/kibana/config/kibana.yml y edite la siguiente línea cambiando localhost por la dirección IP de su elasticsearch:

elasticsearch_url: "http://localhost:9200"

Habilitemos el script de inicio y iniciemos el servicio kibana4

#update-rc.d kibana4 defaults
#service kibana4 start

Podrá acceder a kibana navegando a la siguiente dirección

http://{your IP address}:5601

Instalemos logstash-forwarder en el servidor donde se ejecuta nginx y configúrelo para enviar los registros a logstash.

LOGSTASH-FORWARDER

Conéctese a su servidor remoto y descargue el logstash-forwarder.crt desde el servidor logstash y colóquelo en /etc/pki/tls/certs

#scp root@{logstash server IP}:/etc/pki/tls/certs/logstash-forwarder.crt /etc/pki/tls/certs/

Descargue aquí el paquete logstash-forwarder correspondiente a la distribución que está utilizando. Esperamos que el servidor nginx se ejecute en Debian, por lo que descargaré el archivo deb. Para centos, descargue el archivo RPM

Para Debian, ejecute el siguiente comando:

#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder_0.4.0_amd64.deb
#dpkg -i logstash-forwarder_0.4.0_amd64.deb

Para Centos, ejecute el siguiente comando:

#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
#yum install -y logstash-forwarder-0.4.0-1.x86_64.rpm

O puede usar directamente:

#yum install -y https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm

El archivo de configuración se encuentra en /etc/logstash-forwarder.conf.
Ahora es momento de configurarlo para tomar los archivos de los registros de nginx y enviarlos a logstash.

{
  "network": {
    "servers": [ "elk.vpsie.io:5000" ],
    "ssl ca": "/etc/pki/tls/certs/vpsie.io.crt",
    "timeout": 15
  },
  "files": [
    {
       "paths": [ "/var/log/nginx/access.log" ],
      "fields": { "type": "nginx-access" }
    }
  ]
}

Como mencioné en la sección de logstash, creé los certificados como un dominio comodín porque el stack elk está detrás de NAT y no puede ser accedido directamente desde el servidor donde se ejecuta nginx.

Ahora he iniciado logstash-forwarder con nohup

#nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &

y configuré un crontab para que se ejecute al inicio.

#crontab -e
@reboot nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &

Ahora que hemos configurado logstash forwarder para leer access.log y enviar los archivos de registro a logstash, es momento de configurar kibana para crear gráficos a partir de esos registros.

Puede comenzar a navegar por kibana usando http://IP_address:5601

configuración de kibana

El nombre del campo Time_field garantiza que @timestamp esté seleccionado y haga clic en create para indexar los registros en elasticsearch.
Después de un tiempo, verá los registros en el menú Discover:
kibana discover

Estas configuraciones básicas para el stack ELK se complementarán con diseños más avanzados en los próximos días, como el mapeo GEO y la creación de visualizaciones y paneles en Kibana. Pronto también le mostraré cómo hacer que el stack elk cargue los registros generales de mysql.

Cómo instalar Nmap en Ubuntu 20.04

Preguntas frecuentes

¿Qué son Elasticsearch, Logstash y Kibana?

Elasticsearch, Logstash y Kibana, conocidos colectivamente como el stack ELK, son herramientas de código abierto utilizadas para la búsqueda, el análisis de registros y la visualización. Elasticsearch es un motor de búsqueda que almacena e indexa datos, Logstash es una canalización de procesamiento de datos que ingiere y transforma datos, y Kibana es una plataforma de visualización que le permite interactuar con los datos y analizarlos.

¿Qué distribuciones son compatibles con el stack ELK?

El stack ELK se puede instalar y configurar en una variedad de distribuciones, incluidas Ubuntu, Debian, CentOS, Red Hat Enterprise Linux (RHEL) y Amazon Linux.

¿Cómo instalo Elasticsearch?

Los pasos para instalar Elasticsearch pueden variar ligeramente según la distribución que esté utilizando, pero estos son los pasos generales:

  • Descargue el paquete de Elasticsearch desde el sitio web oficial.
  • Extraiga el paquete y muévalo a un directorio de su elección.
  • Ejecute Elasticsearch ejecutando el script bin/elasticsearch.
¿Cómo configuro Elasticsearch?

Elasticsearch incluye una configuración predeterminada que debería funcionar para la mayoría de los usuarios, pero también puede personalizarla según sus necesidades. Estos son los pasos básicos:

  • Vaya al directorio config dentro del directorio de instalación de Elasticsearch.
  • Edite el archivo elasticsearch.yml para especificar el nombre del clúster, el nombre del nodo y la configuración de red.
  • Edite el archivo jvm.options para especificar la configuración de JVM.
¿Cómo instalo Logstash?

Logstash utiliza un archivo de configuración para definir las entradas, los filtros y las salidas de la canalización de datos. Estos son los pasos básicos:

  • Vaya al directorio config dentro del directorio de instalación de Logstash.
  • Cree un nuevo archivo de configuración con la extensión .conf.
  • Defina las entradas, los filtros y las salidas en el archivo de configuración utilizando la sintaxis adecuada.
¿Cómo configuro Logstash?

Logstash utiliza un archivo de configuración para definir las entradas, los filtros y las salidas de la canalización de datos. Estos son los pasos básicos:

  • Vaya al directorio config dentro del directorio de instalación de Logstash.
  • Cree un nuevo archivo de configuración con la extensión .conf.
  • Defina las entradas, los filtros y las salidas en el archivo de configuración utilizando la sintaxis adecuada.
¿Cómo instalo Kibana?

Los pasos para instalar Kibana pueden variar ligeramente según la distribución que esté utilizando, pero estos son los pasos generales:

  • Descargue el paquete de Kibana desde el sitio web oficial.
  • Extraiga el paquete y muévalo a un directorio de su elección.
  • Ejecute Kibana ejecutando el script bin/kibana.
¿Cómo configuro Kibana?

Kibana utiliza un archivo de configuración para definir ajustes como el host del servidor, el puerto y las opciones de SSL. Estos son los pasos básicos:

  • Vaya al directorio config dentro del directorio de instalación de Kibana.
  • Edite el archivo kibana.yml para especificar el host del servidor, el puerto y las opciones de SSL.
¿Cómo integro Elasticsearch, Logstash y Kibana?

Para integrar Elasticsearch, Logstash y Kibana, debe configurar Logstash para enviar datos a Elasticsearch y luego usar Kibana para visualizar los datos. Estos son los pasos básicos:

  • En el archivo de configuración de Logstash, especifique Elasticsearch como destino de salida.
  • Inicie Logstash y Elasticsearch.
  • En Kibana, cree un patrón de índice que coincida con los datos enviados por Logstash.
  • Use las herramientas de visualización de Kibana para crear visualizaciones y paneles de control

Volver a la base de conocimientos