Arquitetura orientada a eventos
A chegada de novos dados inicia o processamento de forma desacoplada, evitando dependência direta entre a plataforma SaaS e o Elastic.
← Voltar para projetos
Observabilidade • APIs • Cloud • Event-driven
Observabilidade de APIs em grande escala
Arquitetura orientada a eventos para transformar grandes volumes de dados produzidos por APIs em informação estruturada e relevante para investigação de falhas.
Coletar grandes volumes de dados não significa ter observabilidade. O desafio é transformar volume em sinais úteis para investigação.
Contexto
O ambiente utilizava a Sensedia como plataforma SaaS de API Management para gerenciamento das APIs corporativas. Por meio do recurso Data Streams, os dados gerados pelas APIs eram exportados de forma centralizada para uma camada de armazenamento no Amazon S3.
Esse fluxo disponibilizava um grande volume de eventos provenientes das diferentes APIs gerenciadas pela plataforma.
Embora esses dados fossem extremamente valiosos para diagnóstico, encaminhar todo o conteúdo indiscriminadamente para uma plataforma de observabilidade aumentaria significativamente o consumo de processamento, armazenamento e recursos de indexação.
O desafio
O desafio era transformar o grande volume de dados disponibilizado pelos Data Streams da Sensedia em uma camada de observabilidade focada nas falhas das APIs, sem indexar no Elastic todos os eventos produzidos pela plataforma.
A solução precisava identificar eventos relevantes, processá-los de forma desacoplada e disponibilizar informações estruturadas para investigação por API, comportamento HTTP e contexto da requisição.
Além da capacidade de investigação, a arquitetura precisava considerar características típicas de sistemas distribuídos, como alto volume, reprocessamento e possibilidade de processamento duplicado de eventos.
Observabilidade orientada à relevância
A Sensedia já disponibilizava o fluxo centralizado de dados das APIs. O papel da arquitetura de observabilidade foi transformar esse fluxo massivo em um conjunto seletivo de sinais úteis para análise e diagnóstico.
Em vez de enviar indiscriminadamente todos os registros para o Elastic, foi criada uma camada intermediária de processamento capaz de selecionar, tratar e preparar somente os eventos relevantes para o cenário de observabilidade.
Grande volume de eventos
↓
Processamento orientado a eventos
↓
Identificação dos eventos relevantes
↓
Filtragem
↓
Normalização
↓
Controle de duplicidade
↓
Indexação eficiente
↓
Investigação no Elastic
↓
Processamento orientado a eventos
↓
Identificação dos eventos relevantes
↓
Filtragem
↓
Normalização
↓
Controle de duplicidade
↓
Indexação eficiente
↓
Investigação no Elastic
A solução
A Sensedia, utilizada como plataforma SaaS de API Management, disponibilizava por meio de Data Streams os registros das APIs no Amazon S3.
A partir dessa camada de armazenamento foi desenhada uma arquitetura orientada a eventos na AWS. A chegada de novos dados inicia um fluxo desacoplado de processamento serverless responsável por interpretar os registros e identificar eventos relacionados a falhas HTTP.
Durante o processamento, os dados passam por etapas de filtragem, normalização e controle de duplicidade antes de serem preparados para envio ao Elastic.
Somente após esse tratamento os eventos relevantes são encaminhados ao Elasticsearch, formando uma camada especializada de observabilidade para investigação das integrações.
Arquitetura
O processamento foi desacoplado da geração dos eventos. A Sensedia atua como origem dos dados e a AWS como camada intermediária de armazenamento e processamento antes da ingestão seletiva no Elastic.
APIs corporativas
↓
Sensedia — SaaS / API Management
↓
Sensedia Data Streams
↓
Amazon S3
↓
Amazon EventBridge
↓
AWS Lambda
↓
├── Identificação de falhas HTTP
├── Filtragem
├── Normalização
└── Controle de duplicidade
↓
Elastic Bulk API
↓
Elasticsearch
↓
Kibana
↓
Dashboards / Investigação
↓
Sensedia — SaaS / API Management
↓
Sensedia Data Streams
↓
Amazon S3
↓
Amazon EventBridge
↓
AWS Lambda
↓
├── Identificação de falhas HTTP
├── Filtragem
├── Normalização
└── Controle de duplicidade
↓
Elastic Bulk API
↓
Elasticsearch
↓
Kibana
↓
Dashboards / Investigação
Escala
Arquitetura preparada para grandes volumes
A solução foi aplicada em um cenário de dezenas de milhões de eventos, tornando eficiência de processamento, redução de dados irrelevantes e estratégia de indexação elementos importantes do desenho arquitetural.
Nesse contexto, o objetivo não era simplesmente aumentar a capacidade de ingestão, mas reduzir o volume antes que ele chegasse à plataforma de observabilidade.
Decisões de engenharia
Filtragem antes da indexação
Nem todo evento precisava se transformar em um documento no Elastic. O pipeline seleciona previamente os registros relevantes para investigação de falhas.
Normalização dos eventos
Os registros são preparados para oferecer uma estrutura consistente de análise, permitindo investigar APIs diferentes utilizando dimensões operacionais comuns.
Controle de duplicidade
A arquitetura considera que, em fluxos distribuídos, eventos podem ser entregues ou processados mais de uma vez. Esse comportamento é tratado antes da consolidação da visão operacional.
Processamento serverless
A camada de processamento utiliza funções serverless para executar as transformações necessárias sem manter uma infraestrutura de processamento dedicada permanentemente.
Ingestão eficiente
Os documentos processados são encaminhados ao Elastic utilizando ingestão em lote, reduzindo overhead de comunicação e tornando o envio mais eficiente em cenários de alto volume.
Observabilidade das integrações
O objetivo da solução não era monitorar apenas a infraestrutura do API Gateway, mas fornecer visibilidade sobre o comportamento das próprias integrações que trafegavam pela plataforma.
Depois de estruturados no Elastic, os eventos podem ser explorados por diferentes dimensões operacionais, permitindo identificar APIs com maior concentração de falhas, comportamentos recorrentes e situações que exigem investigação.
Os dashboards oferecem uma visão consolidada do ambiente, enquanto a capacidade de pesquisa do Elastic permite aprofundar a análise até o contexto necessário para diagnóstico.
Resultado
A arquitetura criou uma camada centralizada de observabilidade para falhas das APIs gerenciadas pela Sensedia, transformando um fluxo de grande volume em informação estruturada para investigação operacional.
Ao selecionar e processar os eventos antes da indexação, a solução concentra os recursos da plataforma de observabilidade nos dados efetivamente relevantes para diagnóstico.
O resultado é maior visibilidade sobre o comportamento das integrações, mantendo uma arquitetura desacoplada e preparada para trabalhar com grandes volumes de eventos.
Tecnologias utilizadas
SensediaSensedia Data StreamsAPI ManagementAmazon S3Amazon EventBridgeAWS LambdaElastic CloudElasticsearchKibanaElastic Bulk APIEvent-driven ArchitectureServerlessPython
Desafios semelhantes
Muito dado e pouca visibilidade sobre o que realmente está falhando?
Uma arquitetura de observabilidade eficiente não começa pela quantidade de dados coletados, mas pela definição dos sinais que realmente ajudam a entender e operar o ambiente.
Conversar sobre uma solução