O Que É o ELK Stack? Logging com Elasticsearch Explicado
O ELK stack é um conjunto de ferramentas de logging open-source popular que combina Elasticsearch, Logstash e Kibana para coletar, armazenar, pesquisar e visualizar logs.
ELK é um acrônimo para três ferramentas que são frequentemente implantadas juntas para construir uma plataforma de logging centralizada. Cada uma cuida de um estágio, ingest, armazenar e pesquisar, e visualizar, e juntas cobrem o caminho completo de uma linha de log bruta até um dashboard pesquisável. O stack agora é frequentemente chamado de Elastic Stack, refletindo um componente adicional de ingest.
Elasticsearch
Elasticsearch é o mecanismo de busca e análise no núcleo do stack. Ele indexa documentos de log para que possam ser consultados quase em tempo real, suportando full-text search, filtragem por campos e agregações. É o que torna rápida a busca em milhões de linhas de log.
Logstash
Logstash é o pipeline de processamento. Ele faz ingest de logs de muitas entradas, os transforma, parseando linhas não estruturadas em campos, descartando ruído, enriquecendo com contexto, e encaminha o resultado para o Elasticsearch. Seu trabalho é transformar logs brutos e bagunçados em documentos limpos e estruturados.
Kibana
Kibana é o front end de visualização e exploração. Ele permite pesquisar os logs indexados, construir dashboards e mergulhar em entradas individuais. Para a maioria dos usuários, Kibana é a face do stack, o lugar onde a investigação realmente acontece.
Beats e o Elastic Stack
Shippers leves chamados Beats são frequentemente adicionados para enviar logs e métricas de cada host com sobrecarga mínima, frequentemente substituindo agents Logstash mais pesados na borda. Com os Beats incluídos, o pacote é comumente denominado Elastic Stack em vez de estritamente ELK.
ELK para logs de CI/CD
As equipes enviam build e deploy logs para o ELK para que toda execução do pipeline se torne pesquisável. Dashboards do Kibana podem então rastrear padrões de erro entre builds, evidenciar as mensagens de falha mais comuns e permitir comparar uma execução que falha com sucessos históricos, transformando uma pilha de logs de runners efêmeros em um histórico consultável e de vida longa.
Principais conclusões
- ELK é Elasticsearch, Logstash e Kibana usados juntos para logs.
- Elasticsearch armazena e pesquisa; Logstash faz ingest e transforma; Kibana visualiza.
- Os shippers Beats o estendem para o Elastic Stack.
- Torna os logs de CI/CD pesquisáveis em todas as execuções do pipeline.