Página inicial da VPSie

Voltar para a base de conhecimento

elasticsearch, logstash e kibana

Contexto de elasticsearch, logstash e kibana

Esta é a primeira parte de uma série de tutoriais sobre instalação, configuração e configuração de elasticsearch, logstash e kibana no Debian Jessie usando o serviço VPSie SSD VPS.
A Elastic é a empresa por trás dos três projetos de código aberto – Elasticsearch, Logstash e Kibana — projetados para obter dados de qualquer fonte e pesquisá-los, analisá-los e visualizá-los em tempo real. A Elastic ajuda as pessoas a dar sentido aos dados. De cotações de ações a fluxos do Twitter e logs do Apache a blogs WordPress, nossos produtos estão expandindo o que é possível com dados, cumprindo a promessa de que boas coisas vêm de conectar os pontos.

Expectativas

Pressupõe-se que você já tenha um serviço VPS e saiba como implantar um VPS. Para esta série de tutoriais, usarei a VPSie como serviço e também me referirei ao VPS como vpvisits. Este tutorial não abordará a instalação do Debian Jessie na vpsie. Para isso, você pode verificar o blog deles. Tendo tudo isso esclarecido, também pressuponho que você saberá como fazer SSH no seu VPS. Isso significa que seu VPS terá uma rede totalmente funcional configurada.

ELASTICSEARCH

Primeiro, precisamos instalar as dependências. O Elasticsearch requer que o Java esteja instalado no seu sistema antes da instalação do próprio Elasticsearch. No Debian/Ubuntu, você precisa executar o seguinte:


#echo "deb http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" > /etc/apt/sources.list.d/webupd8team-java.list 
#echo "deb-src http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" >>  /etc/apt/sources.list.d/webupd8team-java.list
#apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys EEA14886 
#apt-get update 
#apt-get install -y oracle-java8-installer

No CentOS/Fedora, você pode executar os seguintes comandos:

#yum install -y http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.rpm

Use este comando para adicionar a chave apt e adicionar o repositório apt ao servidor VPSie no Debian/Ubuntu:

#wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
OK
#echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list

Em seguida, atualize a lista qualificada para ler o armazenamento e instalar o Elasticsearch.

#apt-get update
#apt-get install -y elasticsearch

No CentOS/Fedora:

#rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

Crie um arquivo chamado elasticsearch.repo na pasta /etc/yum.repos.d/ com o conteúdo:

[elasticsearch-2.x] 
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos 
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

Instale o Elasticsearch executando:

#yum install elasticsearch

Vamos editar o arquivo de configuração do Elasticsearch e adicionar um nome de cluster.

Observação: O nome padrão será usado se o nome do cluster não for especificado.

Observação: Se você quiser ter clusters Elasticsearch separados para diferentes serviços, é altamente recomendável usar nomes de cluster separados, pois, caso contrário, os nós se juntarão automaticamente a grupos existentes com o nome padrão.

Agora, vamos configurar o nome do cluster do Elasticsearch editando /etc/elasticsearch/elasticsearch.yml e definindo um nome para o cluster, como neste exemplo:

cluster.name: vpsie.io

Você também pode selecionar a variável node.name; caso contrário, o cluster Elasticsearch atribuirá um nome aleatório de uma lista de super-heróis. Para fazer isso no mesmo arquivo de configuração, você precisa definir a variável node.name.

node.name: "Superman"

Muitas outras variáveis podem ser definidas, mas cobriremos apenas a configuração básica. Salve seu arquivo de configuração, configure o Elasticsearch para iniciar automaticamente na inicialização e inicie o serviço.

#systemctl enable elasticsearch
#systemctl start elasticsearch

Se o seu elasticsearch tiver iniciado corretamente ao executar netstat -ntl, você verá que o elasticsearch está em execução em duas portas diferentes: 9200 e 9300. A porta 9200 é a que você usará para consultar dados do seu cluster elasticsearch.

Também pode ser útil instalar plugins como head e big desk no elasticsearch.

cd /usr/share/elasticsearch

#cd /usr/share/elasticsearch
#bin/plugin -install mobz/elasticsearch-head

Reinicie o elasticsearch para que as alterações entrem em vigor

#systemctl restart elasticsearch

Você pode acessar os plugins navegando no IP do seu elasticsearch na porta 9200, por exemplo:

http://:9200/_plugin/plugin_name

Para o head, você verá uma página semelhante a esta:

para o bigdesk nodeview:

bigdesk-nodeview e para o bigdesk clusterview:

big desk-cluster view

LOGSTASH

Precisamos criar o repositório para instalar o logstash no Debian/Ubuntu:

#echo "deb http://packages.elastic.co/logstash/2.1/debian stable main" | sudo tee -a /etc/apt/sources.list

Vamos atualizar o repositório e instalar o logstash

#apt-get update
#apt-get install -y logstash

Nos sistemas Centos/Fedora, execute:

#cat > /etc/yum.repos.d/logstash.repo << EOF
[logstash-2.1] 
name=Logstash repository for 2.1.x packages 
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
EOF

O arquivo de configuração do Logstash consiste em três partes principais. A primeira é o input, onde você define a fonte de informação de onde deseja carregar os dados para o elasticsearch.

Os filtros são codecs onde você define os filtros que deseja executar nas informações carregadas, e a saída é onde você configura as informações carregadas e analisadas para serem enviadas.

Como configuraremos o logstash para ler informações de um servidor remoto para entrada, usaremos um plugin de entrada chamado lumberjack.

Vamos criar o certificado ssl usando o seguinte comando:

#cd /etc/pki/tls
#openssl req -x509  -batch -nodes -newkey rsa:2048 -keyout private/vpsie.io.key -out certs/vpsie.io.crt -subj /CN=*.vpsie.io

Nota: Você pode usar como CN o nome de domínio completo, o endereço IP ou um domínio curinga. É importante que, se usar o endereço IP como CN, você deverá usar o endereço IP do VPS onde o logstash está em execução. Se seu logstash estiver atrás de NAT (Network Address Translation), eu sugiro fortemente o uso de um domínio completo ou domínios curinga, caso contrário, o logstash descartará todas as conexões. Neste tutorial, faremos o elasticsearch armazenar os logs dos logs de acesso do nginx.

O arquivo de configuração básico para logstash está localizado em /etc/logstash/conf.d/.

Nomearemos o arquivo logstash.conf para causar o mínimo de confusão possível.

input {
    lumberjack {
            port => 5000
            type => "logs"
            ssl_certificate => "/etc/pki/tls/certs/vpsie.io.crt"
            ssl_key => "/etc/pki/tls/private/vpsie.io.key"
    }
}
filter {
    if [type] == "nginx-access" {
            grok {
                    match => { 'message' => '%{IPORHOST:clientip} %{NGUSER:indent} %{NGUSER:agent} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{URIPATHPARAM:request}(?: HTTP/%{NUMBER:httpversion})?|)\" %{NUMBER:answer} (?:%{NUMBER:byte}|-) (?:\"(?:%{URI:referrer}|-))\" (?:%{QS:referree}) %{QS:agent}' }
            }
      }
}
output {
    stdout {
            codec => rubydebug
      }
    elasticsearch {
            hosts => ["127.0.0.1:9200"]
            cluster => "vpsie.io"
            flush_size => 2000
      }
}

Existem padrões para nginx que podem ser encontrados na internet, mas as informações dos logs podem variar dependendo da configuração do nginx. Você pode usar o padrão grok para criar seus próprios padrões, que funcionarão com os arquivos de log que você está gerando.
Existem duas excelentes ferramentas para criar padrões grok ou verificar se o padrão grok funcionará com seus arquivos de log. A primeira é chamada Grok Debugger e a segunda é o Grok Incremental Constructor, que é ótimo para construir seus próprios padrões de forma incremental.

Olhando para logstash.conf

A seção de entrada possui o plugin lumberjack, que contém:
Port – a porta que o logstash-forwarder usará para se conectar ao logstash type – o tipo de informação que será fornecido ao logstash ssSSL certificate o certificado gerado para se conectar ao logstash sssilky a chave do certificado gerado para se conectar ao logstash Na seção de filtro, estamos verificando se o tipo é nginx-access e, se for verdadeiro, aplicamos o padrão grok ao log.

Na saída, primeiro, executamos o codec ruby-debug, como um log de depuração, e também enviamos os resultados para o elasticsearch no localhost com o nome do cluster vpsie.io.
Quando seu logstash estiver configurado corretamente, você deve configurá-lo para iniciar na inicialização e iniciá-lo.

#systemctl enable logstash
#systemctl start logstash

Assim que o logstash estiver em execução netstat -ntlp você verá que ele está ouvindo na porta 5000.
logstash

KIBANA

Agora que temos o logstash e o elasticsearch em execução, é hora de instalar o kibana
Precisamos baixar o kibana para nosso servidor usando o seguinte comando:

#wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz

Assim que o kibana for baixado, precisamos extraí-lo para /opt:

#tar -xzvf kibana-4.1.1-linux-x64.tar.gz -C /opt

Agora precisamos renomear a pasta e configurar o init para poder executá-lo como um serviço

#mv /opt/kibana-* /opt/kibana
#wget https://gist.githubusercontent.com/thisismitch/8b15ac909aed214ad04a/raw/bce61d85643c2dcdfbc2728c55a41dab444dca20/kibana4
#chmod +x /etc/init.d/kibana4
#sed -i '/^NAME/d' /etc/init.d/kibana4
#sed -i '/^KIBANA_BIN/a NAME=kibana4' /etc/init.d/kibana4

Agora que temos tudo em ordem, precisamos editar o arquivo de configuração do kibana para definir o endereço IP onde o elasticsearch está ouvindo. Se você estiver executando o kibana no mesmo servidor onde o elasticsearch está em execução, não precisa fazer nada. O arquivo de configuração está localizado em /opt/kibana/config/kibana.yml e edite a seguinte linha, alterando o localhost para o endereço IP do seu elasticsearch:

elasticsearch_url: "http://localhost:9200"

Vamos habilitar o script de inicialização e iniciar o serviço kibana4

#update-rc.d kibana4 defaults
#service kibana4 start

Você poderá acessar o kibana acessando o seguinte endereço

http://{your IP address}:5601

Vamos instalar o logstash-forwarder no servidor onde o nginx está em execução e configurá-lo para enviar os logs para o logstash.

LOGSTASH-FORWARDER

Conecte-se ao seu servidor remoto e baixe o logstash-forwarder.crt do servidor logstash e coloque-o em /etc/pki/tls/certs

#scp root@{logstash server IP}:/etc/pki/tls/certs/logstash-forwarder.crt /etc/pki/tls/certs/

Baixe o pacote logstash-forwarder relacionado à distribuição que você está usando aqui. Esperamos que o servidor nginx execute no Debian, então baixarei o arquivo deb. Para centos, baixe o arquivo RPM

Para Debian, execute o seguinte comando:

#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder_0.4.0_amd64.deb
#dpkg -i logstash-forwarder_0.4.0_amd64.deb

Para Centos, execute o seguinte comando:

#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
#yum install -y logstash-forwarder-0.4.0-1.x86_64.rpm

Ou você pode usar diretamente:

#yum install -y https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm

O arquivo de configuração está localizado em /etc/logstash-forwarder.conf.
Agora é hora de configurá-lo para pegar os arquivos dos logs do nginx e enviá-los ao logstash.

{
  "network": {
    "servers": [ "elk.vpsie.io:5000" ],
    "ssl ca": "/etc/pki/tls/certs/vpsie.io.crt",
    "timeout": 15
  },
  "files": [
    {
       "paths": [ "/var/log/nginx/access.log" ],
      "fields": { "type": "nginx-access" }
    }
  ]
}

Como mencionei na seção do logstash, criei os certificados como um domínio wildcard porque a pilha elk está atrás do NAT e não pode ser acessada diretamente do servidor onde o nginx está em execução.

Agora iniciei o logstash-forwarder com nohup

#nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &

e configurei um crontab para executar na inicialização.

#crontab -e
@reboot nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &

Agora que configuramos o logstash forwarder para ler o access.log e enviar os arquivos de log para o logstash, é hora de configurar o kibana para criar gráficos a partir desses logs.

Você pode começar a navegar no kibana usando http://IP_address:5601

configuração do kibana

O nome do campo Time_field garante que @timestamp esteja selecionado e clique em create para indexar os logs no elasticsearch.
Após algum tempo, você verá os logs aparecerem no menu Discover:
kibana discover

Essas configurações básicas para a pilha ELK terão designs mais avançados adicionados nos próximos dias, como mapeamento GEO e criação de visualizações e painéis no Kibana. Em breve, também mostrarei como fazer a pilha elk carregar os logs gerais do mysql.

Como instalar o Nmap no Ubuntu 20.04

Perguntas frequentes

O que são Elasticsearch, Logstash e Kibana?

Elasticsearch, Logstash e Kibana, coletivamente conhecidos como a pilha ELK, são ferramentas de código aberto usadas para busca, análise de logs e visualização. O Elasticsearch é um mecanismo de busca que armazena e indexa dados, o Logstash é um pipeline de processamento de dados que ingere e transforma dados, e o Kibana é uma plataforma de visualização que permite interagir e analisar os dados.

Quais distribuições são compatíveis com a pilha ELK?

A pilha ELK pode ser instalada e configurada em uma variedade de distribuições, incluindo Ubuntu, Debian, CentOS, Red Hat Enterprise Linux (RHEL) e Amazon Linux.

Como instalo o Elasticsearch?

As etapas para instalar o Elasticsearch podem variar ligeiramente dependendo da distribuição que você está usando, mas aqui estão as etapas gerais:

  • Baixe o pacote do Elasticsearch do site oficial.
  • Extraia o pacote e mova-o para um diretório de sua escolha.
  • Execute o Elasticsearch executando o script bin/elasticsearch.
Como configuro o Elasticsearch?

O Elasticsearch vem com uma configuração padrão que deve funcionar para a maioria dos usuários, mas você também pode personalizar a configuração para atender às suas necessidades. Aqui estão as etapas básicas:

  • Navegue até o diretório config dentro do diretório de instalação do Elasticsearch.
  • Edite o arquivo elasticsearch.yml para especificar o nome do cluster, o nome do nó e as configurações de rede.
  • Edite o arquivo jvm.options para especificar as configurações da JVM.
Como instalo o Logstash?

O Logstash usa um arquivo de configuração para definir as entradas, os filtros e as saídas do pipeline de dados. Aqui estão as etapas básicas:

  • Navegue até o diretório config dentro do diretório de instalação do Logstash.
  • Crie um novo arquivo de configuração com a extensão .conf.
  • Defina as entradas, os filtros e as saídas no arquivo de configuração usando a sintaxe apropriada.
Como configuro o Logstash?

O Logstash usa um arquivo de configuração para definir as entradas, os filtros e as saídas do pipeline de dados. Aqui estão as etapas básicas:

  • Navegue até o diretório config dentro do diretório de instalação do Logstash.
  • Crie um novo arquivo de configuração com a extensão .conf.
  • Defina as entradas, os filtros e as saídas no arquivo de configuração usando a sintaxe apropriada.
Como instalo o Kibana?

As etapas para instalar o Kibana podem variar ligeiramente dependendo da distribuição que você está usando, mas aqui estão as etapas gerais:

  • Baixe o pacote do Kibana do site oficial.
  • Extraia o pacote e mova-o para um diretório de sua escolha.
  • Execute o Kibana executando o script bin/kibana.
Como configuro o Kibana?

O Kibana usa um arquivo de configuração para definir configurações como host do servidor, porta e opções de SSL. Aqui estão as etapas básicas:

  • Navegue até o diretório config dentro do diretório de instalação do Kibana.
  • Edite o arquivo kibana.yml para especificar o host do servidor, a porta e as opções de SSL.
Como integro Elasticsearch, Logstash e Kibana?

Para integrar Elasticsearch, Logstash e Kibana, você precisa configurar o Logstash para enviar dados ao Elasticsearch e, em seguida, usar o Kibana para visualizar os dados. Aqui estão as etapas básicas:

  • No arquivo de configuração do Logstash, especifique o Elasticsearch como destino de saída.
  • Inicie o Logstash e o Elasticsearch.
  • No Kibana, crie um padrão de índice que corresponda aos dados enviados pelo Logstash.
  • Use as ferramentas de visualização do Kibana para criar visualizações e painéis

Voltar para a base de conhecimento