Elastic e AWS Serverless Application Repository (SAR): acelere a obtenção de insights práticos com a ingestão de logs do Amazon S3 sem complicações

Enquanto as empresas utilizam a plataforma e os serviços de nuvem da Amazon Web Services (AWS) para impulsionar a eficiência operacional e lançar produtos no mercado, os logs são frequentemente armazenados no Amazon Simple Storage Service (Amazon S3) e depois enviados para uma solução externa de monitoramento e análise. Agora os usuários da AWS podem ingerir rapidamente logs armazenados no Amazon S3 com o novo Elastic Serverless Forwarder, uma aplicação do AWS Lambda, e visualizá-los no Elastic Stack junto com outros logs e métricas para ter uma analítica centralizada.

Pule processos demorados, como provisionar uma VM ou instalar agentes de dados, e reduza a sobrecarga de gerenciamento fazendo a ingestão de dados diretamente da AWS para o Elastic.

Neste post do blog, ensinaremos como usar o Elastic Serverless Forwarder,   publicado no AWS Serverless Application Repository (SAR), para simplificar sua arquitetura e enviar logs para o Elastic, a fim de que você possa monitorar e proteger seus ambientes locais e multinuvem.

Monitore a integridade e o desempenho do seu ambiente da AWS

Em um ecossistema híbrido e multinuvem cada vez mais complexo, não é surpresa que a observabilidade continue a ser uma iniciativa de negócios crítica e o principal desafio para as equipes de DevOps, de acordo com uma pesquisa do grupo Enterprise Management Associates (EMA). Como muitas organizações escolhem diversas tecnologias, desde containers até computação sem servidor, para lançar produtos no mercado com mais rapidez e reduzir as despesas gerais, é importante observar a necessidade de uma solução de observabilidade que cubra todas as arquiteturas. As equipes que implantam uma solução abrangente de observabilidade são capazes de desenvolver 70% mais rápido e manter uma maior velocidade no lançamento dos produtos, com quatro vezes o número de recursos de acordo com a pesquisa do EMA.

O Elastic Observability unifica logs, métricas e traces de APM para ter uma visão contextual completa dos seus ambientes híbridos da AWS junto com seus conjuntos de dados locais, em escala, em uma única stack. Acompanhe o desempenho e monitore uma ampla variedade de serviços da AWS, incluindo AWS Lambda, Amazon Elastic Compute Cloud (EC2), Amazon Elastic Container Service (ECS), Amazon Elastic Kubernetes Service (EKS), Amazon S3 e muitos outros.

Um estudo da Forrester encomendado mostrou que os clientes alcançaram até 75% de economia de custos usando as soluções Elastic Security e Observability juntas, e foram até dez vezes mais rápidas do que as soluções existentes. Com o Elastic Common Schema e uma arquitetura de repositório único, os mesmos dados de observabilidade do Amazon S3 e de outros conjuntos de dados também podem ser usados para detecção e resposta estendidas (XDR) com o objetivo de baixar o tempo médio até a detecção para zero. O Elastic Security reúne SIEM e segurança de endpoint, permitindo às organizações ingerir e reter grandes volumes de dados de diversas fontes, armazenar e buscar dados por mais tempo e ampliar a caça a ameaças com detecções e machine learning. Elimine silos de dados, reduza a fadiga dos alertas e prepare a organização para frear as ameaças rapidamente em seu ambiente.

Armazene dados de maneira econômica para recuperação rápida e análise futura

Existe outra maneira de aproveitar o Amazon S3 para obter eficiência de custos. Além de fazer a ingestão no Elastic de logs armazenados no S3, a Elastic também possibilita que as organizações retenham grandes quantidades de dados históricos em armazenamento de objetos de baixo custo, como o Amazon S3, mantendo-os totalmente ativos e buscáveis. Guarde os dados locais e da AWS — em qualquer granularidade, por qualquer período — e redimensione o armazenamento conforme os dados forem aumentando. O gerenciamento de dados e a organização em camadas são automatizados por meio das funcionalidades de gestão de ciclo de vida de índice e redimensionamento automático, com base nos requisitos de desempenho, resiliência e retenção de dados da organização.

Simplifique a ingestão de dados

O Elastic Serverless Forwarder, uma aplicação do Lambda, oferece suporte à ingestão de logs contidos no bucket do Amazon S3 e os envia para o Elastic. A notificação de eventos da fila do SQS no Amazon S3 serve como gatilho para a função do Lambda. Quando um novo arquivo de log é gravado em um bucket do Amazon S3 e atende aos critérios, é gerada uma notificação que dispara a função do Lambda.

Os usuários podem configurar o gatilho de função do SQS no bucket do S3 e fornecer informações de conexão com o Elastic para permitir o fluxo de logs e usar os dashboards pré-construídos e os recursos analíticos completos do Kibana para dar significado aos dados dos logs.

Diagrama da arquitetura:

Nesta seção, veremos um tutorial passo a passo sobre como começar a usar o Elastic Serverless Forwarder para analisar logs de fluxo da Amazon Virtual Private Cloud (Amazon VPC) no Elastic Stack.

Para obter instruções mais detalhadas, consulte a documentação do Elastic Serverless Forwarder.

A ingestão de logs de fluxo da Amazon VPC no Elastic permite monitorar e analisar o tráfego de rede em sua Amazon VPC e tomar decisões mais informadas:

• Analisando os dados dos logs de fluxo no Kibana com a capacidade de buscar, visualizar e filtrar logs rapidamente
• Avaliando as regras dos grupos de segurança e descobrindo brechas na segurança
• Definindo alarmes que alertam quando certos tipos de tráfego são detectados
• Identificando problemas de latência e estabelecendo linhas de base para garantir um desempenho consistente

Antes de começar

1. Se você ainda não usa o Elastic, crie uma implantação usando nosso Elasticsearch Service hospedado no Elastic Cloud. A implantação inclui um cluster do Elasticsearch para armazenamento e busca dos seus dados, e o Kibana para visualização e gerenciamento. Para obter mais informações, consulte Spin up the Elastic Stack (Ativar o Elastic Stack).
2. Habilite o envio de logs de fluxo da AWS VPC para um bucket do S3. Se você não tem essa configuração, pode criar facilmente um bucket do S3 e enviar logs de fluxo da VPC para esse bucket. Essencialmente, as etapas serão as seguintes:
   • Crie um bucket do S3 (exemplo: vpc-flow-logs)
   • No console do EC2, selecione interfaces de rede específicas e, no menu Ações, selecione “Criar log de fluxo”. Selecione como destino o bucket do S3 que você criou nas etapas anteriores. Para obter mais detalhes, consulte a documentação da AWS.
3. Agora vamos criar uma fila simples do SQS (exemplo: flow-logs-queue) e configurar uma política de acesso apropriada para que as notificações de eventos do S3 sejam enviadas para a fila. No bucket do S3 (vpc-flow-logs), configure notificações de eventos para todos os objetos “create events” a serem enviados para a fila do SQS (flow-logs-queue). Para obter mais detalhes, consulte a documentação da AWS.
4. Em seguida, você começará instalando a integração da AWS da Elastic diretamente da interface web do Kibana, que contém dashboards pré-criados, configurações de nó de ingestão e outros ativos que ajudam a extrair o máximo dos logs que você ingere. Vá para Integrations (Integrações) no Kibana e faça uma busca por AWS. Clique na integração da AWS para ver mais detalhes, selecione Settings (Configurações) e clique em Install AWS assets (Instalar ativos da AWS) para instalar todos os ativos de integração da AWS.

5. A seguir, vamos criar um novo bucket do S3 e um arquivo de configuração que o elastic-serverless-forwarder usará para conhecer a fonte da entrada e a conexão com o Elastic para obter informações de destino.

Aqui está um arquivo de exemplo de configuração:

Vá para Elastic Cloud e copie o Cloud ID (ID de nuvem) do console da nuvem da Elastic para especificar no parâmetro “cloud_id”. Navegue até o Kibana, crie uma chave de API codificada em Base64 para autenticação e especifique no parâmetro “api_key”. Você deve armazenar valores que forem sensíveis no AWS Secrets Manager e fazer referência a ele no arquivo de configuração.

6. Implante o elastic-serverless-forwarder do AWS SAR e forneça configurações apropriadas para a função do Lambda iniciar a ingestão de logs de fluxo da VPC no Elastic.

No console do Lambda, selecione Funções->Criar uma função, selecione Explorar o repositório de aplicativos sem servidor, procure elastic-serverless-forwarder e clique em Selecionar para selecionar a aplicação.

Na página Revise, configure e implante da aplicação, preencha os seguintes campos:

1. Especifique o bucket do S3 em ElasticServerlessForwarderS3Buckets, para onde os logs de fluxo da VPC estão sendo enviados. O valor é o ARN do bucket do S3 que você criou na etapa 2.
2. Especifique o caminho do arquivo de configuração em ElasticServerlessForwarderS3ConfigFile. O valor é o URL do S3 no formato “s3://bucket-name/config-file-name”, apontando para o arquivo de configuração (sarconfig.yaml) que você criou na etapa 5.
3. Especifique a fila de notificações do SQS do S3 usada como gatilho da função do Lambda em ElasticServerlessForwarderS3SQSEvents. O valor é o ARN da fila do SQS que você criou na etapa 3.

Os valores acima são usados pela implantação do Lambda para criar políticas mínimas do IAM e configurar as variáveis do ambiente para que a função do Lambda seja executada corretamente.

O Lambda implantado lerá os arquivos de log de fluxo da VPC à medida que eles forem gravados no bucket do S3 e os enviará para o Elastic.

7. Navegue até o Kibana para ver seus logs analisados e visualizados no dashboard [Logs AWS] VPC Flow Log Overview (Visão geral do log de fluxo da VPC [Logs AWS]).

A Elastic oferece constantemente experiências descomplicadas aos clientes, permitindo acesso a qualquer hora e em qualquer lugar — e essa integração simplificada com a AWS é o exemplo mais recente disso. Para obter mais informações, acesse a documentação do elastic-serverless-forwarder ou baixe o guia do Elastic Observability para AWS.

Inicie uma avaliação gratuita hoje mesmo.

Faça sua avaliação gratuita de 7 dias inscrevendo-se via AWS Marketplace e inicie uma implantação em questão de minutos em qualquer uma das regiões do Elastic Cloud na AWS no mundo inteiro. Sua compra da Elastic no AWS Marketplace será incluída em seu extrato de faturamento consolidado mensal e será contabilizada em seu compromisso de gastos com a AWS.

O lançamento e o tempo de amadurecimento de todos os recursos ou funcionalidades descritos neste post permanecem a exclusivo critério da Elastic. Os recursos ou funcionalidades não disponíveis atualmente poderão não ser entregues dentro do prazo previsto ou nem chegar a ser entregues.