Contexto de elasticsearch, logstash e kibana
Esta é a primeira parte de uma série de tutoriais sobre instalação, configuração e configuração de elasticsearch, logstash e kibana no Debian Jessie usando o serviço VPSie SSD VPS.
A Elastic é a empresa por trás dos três projetos de código aberto – Elasticsearch, Logstash e Kibana — projetados para obter dados de qualquer fonte e pesquisá-los, analisá-los e visualizá-los em tempo real. A Elastic ajuda as pessoas a dar sentido aos dados. De cotações de ações a fluxos do Twitter e logs do Apache a blogs WordPress, nossos produtos estão expandindo o que é possível com dados, cumprindo a promessa de que boas coisas vêm de conectar os pontos.
Expectativas
Pressupõe-se que você já tenha um serviço VPS e saiba como implantar um VPS. Para esta série de tutoriais, usarei a VPSie como serviço e também me referirei ao VPS como vpvisits. Este tutorial não abordará a instalação do Debian Jessie na vpsie. Para isso, você pode verificar o blog deles. Tendo tudo isso esclarecido, também pressuponho que você saberá como fazer SSH no seu VPS. Isso significa que seu VPS terá uma rede totalmente funcional configurada.
ELASTICSEARCH
Primeiro, precisamos instalar as dependências. O Elasticsearch requer que o Java esteja instalado no seu sistema antes da instalação do próprio Elasticsearch. No Debian/Ubuntu, você precisa executar o seguinte:
#echo "deb http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" > /etc/apt/sources.list.d/webupd8team-java.list
#echo "deb-src http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" >> /etc/apt/sources.list.d/webupd8team-java.list
#apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys EEA14886
#apt-get update
#apt-get install -y oracle-java8-installerNo CentOS/Fedora, você pode executar os seguintes comandos:
#yum install -y http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.rpmUse este comando para adicionar a chave apt e adicionar o repositório apt ao servidor VPSie no Debian/Ubuntu:
#wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
OK
#echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
Em seguida, atualize a lista qualificada para ler o armazenamento e instalar o Elasticsearch.
#apt-get update
#apt-get install -y elasticsearch
No CentOS/Fedora:
#rpm --import https://packages.elastic.co/GPG-KEY-elasticsearchCrie um arquivo chamado elasticsearch.repo na pasta /etc/yum.repos.d/ com o conteúdo:
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1Instale o Elasticsearch executando:
#yum install elasticsearch
Vamos editar o arquivo de configuração do Elasticsearch e adicionar um nome de cluster.
Observação: O nome padrão será usado se o nome do cluster não for especificado.
Observação: Se você quiser ter clusters Elasticsearch separados para diferentes serviços, é altamente recomendável usar nomes de cluster separados, pois, caso contrário, os nós se juntarão automaticamente a grupos existentes com o nome padrão.
Agora, vamos configurar o nome do cluster do Elasticsearch editando /etc/elasticsearch/elasticsearch.yml e definindo um nome para o cluster, como neste exemplo:
cluster.name: vpsie.io
Você também pode selecionar a variável node.name; caso contrário, o cluster Elasticsearch atribuirá um nome aleatório de uma lista de super-heróis. Para fazer isso no mesmo arquivo de configuração, você precisa definir a variável node.name.
node.name: "Superman"
Muitas outras variáveis podem ser definidas, mas cobriremos apenas a configuração básica. Salve seu arquivo de configuração, configure o Elasticsearch para iniciar automaticamente na inicialização e inicie o serviço.
#systemctl enable elasticsearch
#systemctl start elasticsearch
Se o seu elasticsearch tiver iniciado corretamente ao executar netstat -ntl, você verá que o elasticsearch está em execução em duas portas diferentes: 9200 e 9300. A porta 9200 é a que você usará para consultar dados do seu cluster elasticsearch.
Também pode ser útil instalar plugins como head e big desk no elasticsearch.
cd /usr/share/elasticsearch
#cd /usr/share/elasticsearch
#bin/plugin -install mobz/elasticsearch-head
Reinicie o elasticsearch para que as alterações entrem em vigor
#systemctl restart elasticsearch
Você pode acessar os plugins navegando no IP do seu elasticsearch na porta 9200, por exemplo:
http://:9200/_plugin/plugin_name
Para o head, você verá uma página semelhante a esta:
para o bigdesk nodeview:
bigdesk-nodeview e para o bigdesk clusterview:
big desk-cluster view
LOGSTASH
Precisamos criar o repositório para instalar o logstash no Debian/Ubuntu:
#echo "deb http://packages.elastic.co/logstash/2.1/debian stable main" | sudo tee -a /etc/apt/sources.list
Vamos atualizar o repositório e instalar o logstash
#apt-get update
#apt-get install -y logstash
Nos sistemas Centos/Fedora, execute:
#cat > /etc/yum.repos.d/logstash.repo << EOF
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
EOFO arquivo de configuração do Logstash consiste em três partes principais. A primeira é o input, onde você define a fonte de informação de onde deseja carregar os dados para o elasticsearch.
Os filtros são codecs onde você define os filtros que deseja executar nas informações carregadas, e a saída é onde você configura as informações carregadas e analisadas para serem enviadas.
Como configuraremos o logstash para ler informações de um servidor remoto para entrada, usaremos um plugin de entrada chamado lumberjack.
Vamos criar o certificado ssl usando o seguinte comando:
#cd /etc/pki/tls
#openssl req -x509 -batch -nodes -newkey rsa:2048 -keyout private/vpsie.io.key -out certs/vpsie.io.crt -subj /CN=*.vpsie.io
Nota: Você pode usar como CN o nome de domínio completo, o endereço IP ou um domínio curinga. É importante que, se usar o endereço IP como CN, você deverá usar o endereço IP do VPS onde o logstash está em execução. Se seu logstash estiver atrás de NAT (Network Address Translation), eu sugiro fortemente o uso de um domínio completo ou domínios curinga, caso contrário, o logstash descartará todas as conexões. Neste tutorial, faremos o elasticsearch armazenar os logs dos logs de acesso do nginx.
O arquivo de configuração básico para logstash está localizado em /etc/logstash/conf.d/.
Nomearemos o arquivo logstash.conf para causar o mínimo de confusão possível.
input {
lumberjack {
port => 5000
type => "logs"
ssl_certificate => "/etc/pki/tls/certs/vpsie.io.crt"
ssl_key => "/etc/pki/tls/private/vpsie.io.key"
}
}
filter {
if [type] == "nginx-access" {
grok {
match => { 'message' => '%{IPORHOST:clientip} %{NGUSER:indent} %{NGUSER:agent} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{URIPATHPARAM:request}(?: HTTP/%{NUMBER:httpversion})?|)\" %{NUMBER:answer} (?:%{NUMBER:byte}|-) (?:\"(?:%{URI:referrer}|-))\" (?:%{QS:referree}) %{QS:agent}' }
}
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
hosts => ["127.0.0.1:9200"]
cluster => "vpsie.io"
flush_size => 2000
}
}
Existem padrões para nginx que podem ser encontrados na internet, mas as informações dos logs podem variar dependendo da configuração do nginx. Você pode usar o padrão grok para criar seus próprios padrões, que funcionarão com os arquivos de log que você está gerando.
Existem duas excelentes ferramentas para criar padrões grok ou verificar se o padrão grok funcionará com seus arquivos de log. A primeira é chamada Grok Debugger e a segunda é o Grok Incremental Constructor, que é ótimo para construir seus próprios padrões de forma incremental.
Olhando para logstash.conf
A seção de entrada possui o plugin lumberjack, que contém:
Port – a porta que o logstash-forwarder usará para se conectar ao logstash type – o tipo de informação que será fornecido ao logstash ssSSL certificate o certificado gerado para se conectar ao logstash sssilky a chave do certificado gerado para se conectar ao logstash Na seção de filtro, estamos verificando se o tipo é nginx-access e, se for verdadeiro, aplicamos o padrão grok ao log.
Na saída, primeiro, executamos o codec ruby-debug, como um log de depuração, e também enviamos os resultados para o elasticsearch no localhost com o nome do cluster vpsie.io.
Quando seu logstash estiver configurado corretamente, você deve configurá-lo para iniciar na inicialização e iniciá-lo.
#systemctl enable logstash
#systemctl start logstash
Assim que o logstash estiver em execução netstat -ntlp você verá que ele está ouvindo na porta 5000.
logstash
KIBANA
Agora que temos o logstash e o elasticsearch em execução, é hora de instalar o kibana
Precisamos baixar o kibana para nosso servidor usando o seguinte comando:
#wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz
Assim que o kibana for baixado, precisamos extraí-lo para /opt:
#tar -xzvf kibana-4.1.1-linux-x64.tar.gz -C /opt
Agora precisamos renomear a pasta e configurar o init para poder executá-lo como um serviço
#mv /opt/kibana-* /opt/kibana
#wget https://gist.githubusercontent.com/thisismitch/8b15ac909aed214ad04a/raw/bce61d85643c2dcdfbc2728c55a41dab444dca20/kibana4
#chmod +x /etc/init.d/kibana4
#sed -i '/^NAME/d' /etc/init.d/kibana4
#sed -i '/^KIBANA_BIN/a NAME=kibana4' /etc/init.d/kibana4
Agora que temos tudo em ordem, precisamos editar o arquivo de configuração do kibana para definir o endereço IP onde o elasticsearch está ouvindo. Se você estiver executando o kibana no mesmo servidor onde o elasticsearch está em execução, não precisa fazer nada. O arquivo de configuração está localizado em /opt/kibana/config/kibana.yml e edite a seguinte linha, alterando o localhost para o endereço IP do seu elasticsearch:
elasticsearch_url: "http://localhost:9200"
Vamos habilitar o script de inicialização e iniciar o serviço kibana4
#update-rc.d kibana4 defaults
#service kibana4 start
Você poderá acessar o kibana acessando o seguinte endereço
http://{your IP address}:5601
Vamos instalar o logstash-forwarder no servidor onde o nginx está em execução e configurá-lo para enviar os logs para o logstash.
LOGSTASH-FORWARDER
Conecte-se ao seu servidor remoto e baixe o logstash-forwarder.crt do servidor logstash e coloque-o em /etc/pki/tls/certs
#scp root@{logstash server IP}:/etc/pki/tls/certs/logstash-forwarder.crt /etc/pki/tls/certs/
Baixe o pacote logstash-forwarder relacionado à distribuição que você está usando aqui. Esperamos que o servidor nginx execute no Debian, então baixarei o arquivo deb. Para centos, baixe o arquivo RPM
Para Debian, execute o seguinte comando:
#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder_0.4.0_amd64.deb
#dpkg -i logstash-forwarder_0.4.0_amd64.deb
Para Centos, execute o seguinte comando:
#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
#yum install -y logstash-forwarder-0.4.0-1.x86_64.rpm
Ou você pode usar diretamente:
#yum install -y https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
O arquivo de configuração está localizado em /etc/logstash-forwarder.conf.
Agora é hora de configurá-lo para pegar os arquivos dos logs do nginx e enviá-los ao logstash.
{
"network": {
"servers": [ "elk.vpsie.io:5000" ],
"ssl ca": "/etc/pki/tls/certs/vpsie.io.crt",
"timeout": 15
},
"files": [
{
"paths": [ "/var/log/nginx/access.log" ],
"fields": { "type": "nginx-access" }
}
]
}
Como mencionei na seção do logstash, criei os certificados como um domínio wildcard porque a pilha elk está atrás do NAT e não pode ser acessada diretamente do servidor onde o nginx está em execução.
Agora iniciei o logstash-forwarder com nohup
#nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &
e configurei um crontab para executar na inicialização.
#crontab -e
@reboot nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &
Agora que configuramos o logstash forwarder para ler o access.log e enviar os arquivos de log para o logstash, é hora de configurar o kibana para criar gráficos a partir desses logs.
Você pode começar a navegar no kibana usando http://IP_address:5601
configuração do kibana
O nome do campo Time_field garante que @timestamp esteja selecionado e clique em create para indexar os logs no elasticsearch.
Após algum tempo, você verá os logs aparecerem no menu Discover:
kibana discover
Essas configurações básicas para a pilha ELK terão designs mais avançados adicionados nos próximos dias, como mapeamento GEO e criação de visualizações e painéis no Kibana. Em breve, também mostrarei como fazer a pilha elk carregar os logs gerais do mysql.
Como instalar o Nmap no Ubuntu 20.04
Perguntas frequentes
O que são Elasticsearch, Logstash e Kibana?Elasticsearch, Logstash e Kibana, coletivamente conhecidos como a pilha ELK, são ferramentas de código aberto usadas para busca, análise de logs e visualização. O Elasticsearch é um mecanismo de busca que armazena e indexa dados, o Logstash é um pipeline de processamento de dados que ingere e transforma dados, e o Kibana é uma plataforma de visualização que permite interagir e analisar os dados.
Quais distribuições são compatíveis com a pilha ELK?A pilha ELK pode ser instalada e configurada em uma variedade de distribuições, incluindo Ubuntu, Debian, CentOS, Red Hat Enterprise Linux (RHEL) e Amazon Linux.
Como instalo o Elasticsearch?As etapas para instalar o Elasticsearch podem variar ligeiramente dependendo da distribuição que você está usando, mas aqui estão as etapas gerais:
- Baixe o pacote do Elasticsearch do site oficial.
- Extraia o pacote e mova-o para um diretório de sua escolha.
- Execute o Elasticsearch executando o script
bin/elasticsearch.
O Elasticsearch vem com uma configuração padrão que deve funcionar para a maioria dos usuários, mas você também pode personalizar a configuração para atender às suas necessidades. Aqui estão as etapas básicas:
- Navegue até o diretório
configdentro do diretório de instalação do Elasticsearch. - Edite o arquivo
elasticsearch.ymlpara especificar o nome do cluster, o nome do nó e as configurações de rede. - Edite o arquivo
jvm.optionspara especificar as configurações da JVM.
O Logstash usa um arquivo de configuração para definir as entradas, os filtros e as saídas do pipeline de dados. Aqui estão as etapas básicas:
- Navegue até o diretório
configdentro do diretório de instalação do Logstash. - Crie um novo arquivo de configuração com a extensão
.conf. - Defina as entradas, os filtros e as saídas no arquivo de configuração usando a sintaxe apropriada.
O Logstash usa um arquivo de configuração para definir as entradas, os filtros e as saídas do pipeline de dados. Aqui estão as etapas básicas:
- Navegue até o diretório
configdentro do diretório de instalação do Logstash. - Crie um novo arquivo de configuração com a extensão
.conf. - Defina as entradas, os filtros e as saídas no arquivo de configuração usando a sintaxe apropriada.
As etapas para instalar o Kibana podem variar ligeiramente dependendo da distribuição que você está usando, mas aqui estão as etapas gerais:
- Baixe o pacote do Kibana do site oficial.
- Extraia o pacote e mova-o para um diretório de sua escolha.
- Execute o Kibana executando o script
bin/kibana.
O Kibana usa um arquivo de configuração para definir configurações como host do servidor, porta e opções de SSL. Aqui estão as etapas básicas:
- Navegue até o diretório
configdentro do diretório de instalação do Kibana. - Edite o arquivo
kibana.ymlpara especificar o host do servidor, a porta e as opções de SSL.
Para integrar Elasticsearch, Logstash e Kibana, você precisa configurar o Logstash para enviar dados ao Elasticsearch e, em seguida, usar o Kibana para visualizar os dados. Aqui estão as etapas básicas:
- No arquivo de configuração do Logstash, especifique o Elasticsearch como destino de saída.
- Inicie o Logstash e o Elasticsearch.
- No Kibana, crie um padrão de índice que corresponda aos dados enviados pelo Logstash.
- Use as ferramentas de visualização do Kibana para criar visualizações e painéis
