O rastreamento distribuído é um método para rastrear solicitações de serviço em sistemas distribuídos, fornecendo visibilidade sobre latência, gargalos de desempenho etc.
As demandas dos negócios modernos levaram a uma explosão na tecnologia da informação, com sistemas de computador centralizados e legados evoluindo para ambientes de TI distribuídos avançados e complexos. Infelizmente, juntamente com os recursos aprimorados das redes baseadas na nuvem e do processamento de dados de acesso remoto atuais, essa complexidade aumentada também apresenta maior risco.
Devido às suas intrincadas interdependências, os sistemas complexos têm mais probabilidade de enfrentar problemas. Falhas em uma parte podem se espalhar por todo o sistema, e identificar e corrigir problemas costuma ser muito mais desafiador do que em sistemas centralizados. Ao mesmo tempo, quanto mais complexo for o sistema, mais difícil será prever como as mudanças em uma parte afetarão as outras, levando a consequências inesperadas até mesmo para os ajustes mais inócuos. E apesar de tudo isso, testar minuciosamente um sistema complexo é exponencialmente mais difícil, o que significa que é cada vez mais provável que os problemas passem despercebidos. O rastreamento distribuído fornece uma solução.
Pode-se dizer que o rastreamento distribuído começou com o documento Dapper, apresentado pelo Google em 2010, que estabeleceu a base fundamental para a infraestrutura de rastreamento de sistemas distribuídos em larga escala. Curiosamente, Ben Sigelman, o fundador da Lightstep (que mais tarde se tornou a Observabilidade de nuvem da ServiceNow), foi fundamental na criação do Dapper. Após o Dapper, o Twitter lançou o Zipkin em 2012, o primeiro projeto de rastreamento distribuído de código aberto. Em 2015, a Uber lançou o Jaeger, que foi inspirado no Dapper.
Em 2016, Sigelman escreveu uma publicação em um blog ("Rumo ao rastreamento distribuído pronto para uso", que seria conhecido como o Manifesto OpenTracing). Esse texto fundamental introduziu o OpenTracing como um padrão único, abordando a falta de padronização no ecossistema de rastreamento e estabelecendo a base para que o OpenTracing se tornasse um projeto sob a CNCF (Cloud Native Computing Foundation) e, por fim, se fundisse com o OpenTelemetry em 2019.
A versão 1.0 do OpenTelemetry foi lançada em 2021 e desde então se tornou o padrão de fato para rastreamento, métricas e registro em log. Do Dapper em 2010 aos recursos atuais do OpenTelemetry, em pouco mais de uma década, o rastreamento distribuído evoluiu de um único sistema de back-end para uma solução de ponta a ponta amplamente usada, preparando o caminho para práticas de observabilidade abrangentes e modernas.
O rastreamento distribuído permite que as organizações criem perfis e monitorem toda a sua variedade de aplicações, especialmente aquelas criadas usando uma arquitetura de microsserviços. Essa abordagem oferece visibilidade de como os serviços individuais em um sistema distribuído interagem uns com os outros, criando uma imagem precisa das solicitações individuais à medida que elas fluem pelo sistema.
Ao rastrear a jornada das solicitações e medir quanto tempo cada parte leva, o rastreamento distribuído ajuda a identificar gargalos de desempenho, problemas de latência e possíveis falhas. Dessa forma, o rastreamento distribuído é uma ferramenta crucial para as equipes de DevOps e TI, permitindo que elas otimizem, solucionem problemas e mantenham seus sistemas de forma mais eficaz.
O rastreamento distribuído é criado em torno de três componentes principais:
- Span
Um span é uma única unidade de trabalho executada por um serviço no sistema, marcada com intervalos de tempo de início e término e possivelmente incluindo metadados, como logs ou tags. Os spans são os elementos fundamentais de um rastreamento, representando diferentes partes do fluxo de trabalho. Os spans raiz (também chamados de spans pai) podem ter seus próprios spans (chamados de spans filhos), que, por sua vez, também podem ter spans. - Rastreamento
Um rastreamento é composto de um ou vários spans que juntos representam o caminho de execução completo da solicitação de serviço à medida que ela se move pelo sistema distribuído. Os rastreamentos geralmente são visualizados como árvores, onde o nó raiz representa a interação do usuário, e os outros nós representam os vários microsserviços envolvidos no processamento da solicitação e na preparação da resposta. - Tags
Tags são elementos de metadados anexados a spans. Eles fornecem contexto e classificação.
A estrutura trace/span oferece uma visão centrada em solicitações, eliminando as lacunas entre microsserviços independentes e fornecendo uma perspectiva unificada do desempenho do sistema. Com essas informações, as organizações estão mais bem preparadas para entender e melhorar a experiência do usuário.
O rastreamento, o registro em log e as métricas desempenham funções fundamentais na observabilidade, mas não são os mesmos conceitos. Cada um serve a propósitos distintos e entender as diferenças e a natureza complementar desses conceitos é essencial para o monitoramento e a depuração abrangentes do sistema:
- Rastreamento
O rastreamento distribuído fornece uma visão detalhada das solicitações à medida que elas atravessam os componentes de um sistema distribuído, capturando o fluxo de uma solicitação por meio de serviços variados que desempenham uma função no ajuste do desempenho e na solução de problemas. Ao contrário do registro em log e das métricas, o rastreamento distribuído se concentra na jornada de solicitações específicas, dando uma imagem clara das interações entre microsserviços. - Registro em log
O registro em log é a prática de registrar eventos individuais específicos em um sistema, como ações do usuário, erros do sistema ou outras atividades. Os logs com registro de data e hora fornecem informações detalhadas sobre o que aconteceu no sistema em um momento específico, geralmente essenciais para depuração e auditoria. Enquanto o rastreamento distribuído rastreia o fluxo de solicitações, o registro em log oferece um retrato mais estático dos eventos, sem necessariamente mostrar as relações entre diferentes partes do sistema.
Métricas são valores numéricos que representam o estado de um sistema em um determinado momento ou em um intervalo de tempo e podem incluir tempos de resposta, taxas de erro e utilização de recursos do sistema. As métricas desempenham um papel vital no rastreamento distribuído, oferecendo uma maneira quantificável de monitorar e analisar o desempenho de vários serviços em um sistema distribuído. Esses valores numéricos são extrapolados a partir de rastreamentos e logs, fornecendo informações "rápidas" ou até relatórios detalhados sobre aspectos específicos, como tempos de resposta, taxas de erro e taxa de transferência do sistema.
Ao considerar os dados de rastreamento e log por meio da lente das métricas que resumem os principais indicadores de desempenho, as organizações podem obter uma compreensão abrangente de sua arquitetura distribuída, permitindo diagnósticos rápidos e informações acionáveis e facilitando a otimização eficaz do sistema.
Microsserviços são um design de arquitetura de software em que uma aplicação é estruturada como um conjunto de serviços livremente acoplados e de implantação independente. Cada microsserviço se concentra em uma área funcional específica e opera como um componente individual dentro do sistema mais amplo. Essa abordagem modular promove flexibilidade, escalabilidade e pode agilizar o desenvolvimento. No contexto do rastreamento distribuído, os microsserviços desempenham um papel significativo como nós individuais pelos quais uma solicitação passa.
À medida que uma solicitação passa de um microsserviço para outro, o rastreamento distribuído captura os detalhes dessas interações, incluindo o tempo gasto em cada etapa. Essas informações detalham como a solicitação flui pelos vários serviços, identificando gargalos, latências e possíveis falhas.
Entender como os microsserviços interagem dentro de um sistema distribuído pode ser complexo. O rastreamento distribuído fornece informações valiosas sobre essas interações, capacitando as organizações a visualizar os caminhos, monitorar o desempenho do sistema e solucionar quaisquer problemas que possam surgir para promover uma arquitetura de sistema mais robusta e eficiente.
O rastreamento distribuído se tornou uma ferramenta indispensável para organizações que trabalham com sistemas distribuídos, especialmente no contexto de microsserviços e arquiteturas dinâmicas. Ao rastrear e registrar de forma abrangente todas as interações que uma solicitação tem com cada serviço, o rastreamento distribuído fornece informações cruciais sobre monitoramento, depuração e otimização de desempenho. Os atributos podem ser adicionados aos rastreamentos para maior esclarecimento, e o span aach é registrado com metadados detalhados, incluindo relações entre spans pais e filhos, permitindo uma compreensão completa de como as solicitações se movem entre os serviços.
Dessa forma, cada vez mais organizações estão recorrendo ao rastreamento distribuído para gerenciar a complexidade de seus ambientes de aplicações modernos. Com inúmeros pontos de falha potenciais nas intrincadas pilhas de aplicações atuais, identificar as causas raiz dos problemas pode ser difícil, demorado e potencialmente repleto de erros. O rastreamento distribuído simplifica esse processo, facilitando a identificação mais rápida e precisa dos problemas e melhorando diretamente a capacidade de uma empresa de fornecer uma excelente experiência ao usuário.
Ao mesmo tempo, o rastreamento distribuído é uma resposta eficaz ao problema da cardinalidade, onde os volumes de dados aumentam até o ponto em que o armazenamento de dados e o poder de computação se tornam difíceis de gerenciar.
Os benefícios do rastreamento distribuído se estendem para melhorar a compreensão do desempenho dos microsserviços, promovendo a resolução rápida de problemas e aumentando a satisfação do cliente. Ao fornecer uma visão detalhada do desempenho de cada microsserviço, as organizações podem garantir fluxos de receita estáveis e, ao mesmo tempo, dedicar mais tempo à estratégia e à inovação.
Os dados fornecidos por meio do rastreamento distribuído são cruciais, mas, no final do dia, ainda são apenas dados. Sem uma compreensão clara do que os dados representam, eles não podem afetar positivamente o processo de tomada de decisões. O verdadeiro valor dos dados é a percepção acionável que pode ser derivada dos números, desde que sejam recentes, relevantes e confiáveis.
Ele está na análise inteligente e na compreensão contextual desses dados, onde as organizações podem apontar problemas, identificar causas e implementar soluções eficazes. Como o rastreamento distribuído vai além da mera coleta de dados para fornecer informações profundas sobre vários cenários? Considere o seguinte:
O rastreamento distribuído desempenha um papel fundamental no reconhecimento dos sintomas da integridade insatisfatória do software, como latência ou baixa taxa de transferência. Ele age como uma ferramenta de diagnóstico, conectando os efeitos observáveis às suas causas subjacentes, permitindo a validação de hipóteses sobre o que pode ter desencadeado a mudança observada.
Quando um serviço fica indisponível, isso exige uma explicação. O rastreamento ajuda as organizações a determinar quais mudanças, internas ou externas, foram feitas antes de uma paralisação. Se a variação é resultado de bugs no software, mudanças impulsionadas pelos usuários ou alterações na infraestrutura que levam a problemas de desempenho, o rastreamento distribuído possibilita determinar o estado do sistema antes e depois da paralisação e identificar claramente o que pode ter causado isso.
Entender as mudanças em serviços individuais é vital. Seja em implantações ou atualizações de versão, o rastreamento distribuído divide o desempenho em diferentes fases, marcando cada span com as informações de versão. Essa exibição detalhada ajuda a diagnosticar mudanças que afetam o desempenho de um serviço.
Os sistemas não são estáticos, nem os usuários que operam nos sistemas. Fatores externos, como mudanças no comportamento do usuário, podem gerar alterações no desempenho do serviço. O rastreamento criterioso usa tags para capturar partes essenciais de solicitações e recursos do usuário, oferecendo uma compreensão mais profunda de como os usuários interagem com a aplicação e como essas interações podem criar demandas inesperadas.
Os recursos são finitos e, às vezes, simplesmente não há o suficiente para contornar. A concorrência de recursos em redes distribuídas pode afetar significativamente o desempenho. O rastreamento distribuído oferece informações sobre como recursos compartilhados, como CPUs, contêineres ou bancos de dados, são utilizados. Os rastreamentos marcados adequadamente permitem análise agregada, descobrindo quando e onde o desempenho mais lento se correlaciona com o uso específico de recursos, ajudando no planejamento de recursos e na resolução de conflitos.
A natureza dinâmica das dependências significa que as mudanças ascendentes podem afetar o desempenho do seu serviço. O rastreamento distribuído criterioso, incluindo a marcação de operações de saída e números de versão, permite a visibilidade de como os serviços ascendentes afetam o desempenho. Entender esses relacionamentos ajuda a adaptar ou atenuar os impactos dessas mudanças.
Os padrões de rastreamento distribuído de código aberto são estruturas essenciais que orientam a coleta, a gestão e a análise de dados de rastreamento em diferentes serviços de maneira padronizada. Esses padrões promovem a interoperabilidade e reduzem a dependência de fornecedores, permitindo que os desenvolvedores alternem entre diferentes back-ends de rastreamento e ferramentas com ajustes mínimos. Eles também fornecem um ponto comum para integrar várias plataformas, linguagens e aplicações em sistemas distribuídos complexos.
Entre os padrões de rastreamento distribuído de código aberto mais usados estão:
Parte da CNCF (Cloud Native Computing Foundation), o OpenTracing está entre os primeiros padrões de rastreamento distribuído de código aberto. Essa estrutura inclui APIs que dão suporte à propagação de contexto distribuído e permite que os desenvolvedores adicionem instrumentação ao código da aplicação (sem se prender a qualquer fornecedor específico). O OpenTracing ofereceu semântica de rastreamento consistente em diferentes plataformas, mas desde então foi arquivado. A CNCF não oferece mais suporte ao projeto.
O OpenCensus foi projetado para dar suporte a vários exportadores, permitindo que os usuários enviem dados de rastreamento para diferentes back-ends para análise. Essa estrutura (que se originou do Google) fornece um conjunto claro de APIs e bibliotecas que permitem a coleta automática e manual de rastreamentos e métricas distribuídos. Ao oferecer uma solução unificada para observabilidade, o OpenCensus simplifica o processo de coleta e gestão de dados estatísticos essenciais. O OpenCensus também foi descontinuado.
OpenTelemetry é um projeto mesclado entre OpenTracing e OpenCensus, combinando os melhores recursos de ambos os padrões. Cofundado pela Lightstep, o OpenTelemetry oferece um conjunto unificado e mais amplo de APIs, bibliotecas, agentes e instrumentação para fornecer uma estrutura completa de observabilidade para software nativo da nuvem. O OpenTelemetry simplifica a instrumentação de aplicações, oferecendo suporte integrado para várias estruturas e bibliotecas populares. Ele visa se tornar o padrão de observabilidade para rastreamentos, registros e métricas distribuídos, apoiado por uma comunidade em crescimento e amplo suporte do setor.
Vários recursos são parte integrante da funcionalidade e do sucesso do rastreamento distribuído. Veja como cada recurso desempenha uma função:
Os mecanismos de alerta no back-end de observabilidade permitem que as equipes definam limites para métricas ou comportamentos específicos que possam indicar um problema. Quando esses limites são atingidos, os alertas podem ser enviados para a equipe relevante, permitindo a rápida identificação e resolução de possíveis problemas, melhorando a confiabilidade do sistema.
O rastreamento distribuído fornece visibilidade abrangente de toda a jornada de uma solicitação por meio de diferentes serviços e componentes. Essa visão de ponta a ponta ajuda a identificar gargalos, ineficiências e anomalias no sistema, fornecendo um contexto detalhado para ajuste de desempenho e análise de erros.
Ao oferecer informações precisas sobre o comportamento do sistema, o rastreamento distribuído reduz significativamente o tempo gasto na depuração e na identificação de problemas. Essa eficiência se traduz em economia de custos, pois as equipes podem dedicar mais tempo ao desenvolvimento de recursos e à inovação em vez de solucionar problemas.
Com o aumento da computação distribuída em vários locais geográficos e provedores de nuvem, o rastreamento distribuído facilita a integração entre esses ambientes complexos. Ele permite uma visão coerente do desempenho do sistema em diferentes regiões e plataformas de nuvem, garantindo monitoramento e análise consistentes.
O rastreamento distribuído permite o monitoramento e o rastreamento em tempo real do desempenho de cada serviço, entendendo como eles interagem e identificando áreas que podem precisar de otimização.
O coletor atua como um componente essencial na coleta, no processamento e na exportação de dados de telemetria (ou seja, rastreamentos, métricas e logs). Ele oferece uma opção unificada e independente de fornecedor para coletar e transmitir dados, permitindo a integração perfeita com vários back-ends de observabilidade. A flexibilidade do coletor garante que o rastreamento possa ser adaptado a diferentes ambientes sem alterar o código de instrumentação.
A amostragem é um recurso que permite a coleta de um subconjunto de solicitações (em vez de todas as solicitações) para reduzir o volume total de dados enviados ao back-end de rastreamento. Isso permite que os sistemas de rastreamento distribuído operem em escala sem sobrecarregar os recursos, ao mesmo tempo em que fornecem informações valiosas.
À medida que os sistemas crescem, o rastreamento distribuído deve se adaptar ao aumento da complexidade e do volume de dados. Os recursos de escalabilidade garantem que o rastreamento possa lidar com ambientes de grande escala, fornecendo informações de desempenho consistentes, independentemente do tamanho do sistema. Obviamente, capturar os dados é apenas a primeira etapa. Para garantir que as organizações possam entender os dados, elas precisam de acesso a uma plataforma que possa ser dimensionada junto com o rastreamento distribuído à medida que os sistemas crescem e evoluem.
As aplicações modernas são compostas de várias linguagens, estruturas, tecnologias e clientes (baseados na Web e móveis). A capacidade do rastreamento distribuído de operar em ambientes heterogêneos de pilha completa garante que os desenvolvedores tenham as informações necessárias em toda a pilha de tecnologia, independentemente da diversidade.
Como mencionado anteriormente, os benefícios do rastreamento distribuído estão vinculados à visibilidade aprimorada que ele oferece nos sistemas distribuídos de uma organização. Mas a visibilidade em si só é valiosa quando torna outros benefícios possíveis. Os principais benefícios do rastreamento distribuído incluem:
Um dos principais benefícios do rastreamento distribuído é sua capacidade de medir a duração necessária para executar ações essenciais do usuário, como fazer uma compra. O rastreamento do caminho da solicitação ajuda a localizar e corrigir impedimentos de back-end que, de outra forma, podem afetar negativamente a experiência do usuário.
A maioria das organizações opera dentro dos limites dos SLAs (service level agreements, acordos de nível de serviço), formalizando compromissos de desempenho com clientes ou outras divisões internas. As ferramentas de rastreamento distribuído compilam dados de desempenho de serviços individuais, tornando conveniente para as equipes avaliar se estão aderindo aos seus SLAs.
Os SLOs (service-level objectives, objetivos de nível de serviço) são metas específicas e mensuráveis que definem o desempenho e a disponibilidade esperados de um serviço e são suportados por indicadores de nível de serviço que ajudam as organizações a medir seus níveis de serviço. O rastreamento distribuído adequadamente implantado oferece uma oportunidade de rastrear e cumprir os SLOs, escolhendo quais sinais específicos monitorar e configurar alertas para quaisquer erros ou dados que estejam fora de um intervalo predeterminado. Isso possibilita abordar quaisquer incidentes relacionados de forma rápida e eficaz.
O rastreamento distribuído fornece informações sobre as complexas relações de causa e efeito entre serviços variados. Essa compreensão ajuda as empresas a otimizar o desempenho geral do sistema.
Em ambientes em que diferentes equipes supervisionam vários serviços envolvidos no atendimento de uma solicitação, o rastreamento distribuído oferece clareza sobre onde ocorreu um erro e qual equipe precisa lidar com ele. Essa clareza melhora a colaboração entre as equipes, reduz significativamente o tempo gasto em acusações e contribui para a produtividade geral dentro da organização.
Quando surgem problemas no desempenho da aplicação, as equipes de suporte podem utilizar rastreamentos distribuídos para identificar se o problema está no back-end. Ao analisar os rastreamentos do serviço afetado, os engenheiros podem identificar e resolver o problema. A utilização de ferramentas de rastreamento distribuído de ponta a ponta permite até mesmo a investigação de problemas de desempenho de front-end na mesma plataforma, reduzindo o MTTD (Mean Time to Detection, tempo médio para detecção) e o MTTR (Mean Time to Resolution, tempo médio para resolução) de questões potencialmente problemáticas.
Embora o rastreamento distribuído traga inúmeros benefícios, ele também vem com obstáculos inerentes que podem prejudicar todo o seu potencial. Entender esses desafios é fundamental para as organizações que visam implementar o rastreamento distribuído de forma eficaz. Confira abaixo alguns dos desafios mais notáveis:
Um dos obstáculos que algumas plataformas de rastreamento distribuídas apresentam é a necessidade de instrumentação manual. Isso significa que a organização pode ter que alterar ou modificar seu código existente para iniciar o rastreamento de solicitações. Essa intervenção manual não só consome recursos valiosos de engenharia, mas também pode levar à introdução de erros nas aplicações à medida que o código é revisado.
O rastreamento distribuído tradicional geralmente é restrito aos serviços de back-end, gerando um ID de rastreamento somente quando a solicitação atinge o primeiro serviço de back-end. Sem utilizar uma plataforma de rastreamento distribuída de ponta a ponta, a visibilidade da sessão do usuário correspondente no front-end permanece obscurecida. Essa limitação torna mais difícil descobrir a causa raiz de algumas solicitações problemáticas e determinar se o problema precisa ser resolvido pela equipe de front-end ou back-end.
Felizmente, a adoção de estruturas como o OpenTelemetry alivia ou remove os desafios da visibilidade limitada das transações de front-end, bem como os problemas associados à instrumentação. Esses e outros desafios são inerentes a muitas tecnologias do setor (como Kubernetes) que incorporam o OpenTelemetry em suas bases de código principais.
À medida que o cenário de TI empresarial moderno continua a se expandir em termos de tamanho e complexidade, os benefícios do rastreamento distribuído estão se tornando cada vez mais óbvios. A Observabilidade de nuvem da ServiceNow, que aproveita a premiada Now Platform®, define um novo padrão para rastreamento, oferecendo visibilidade completa de todas as solicitações em sistemas distribuídos.
Integração com ferramentas existentes. Interconecte métricas e rastreamento para criar telemetria unificada. Reduza significativamente o MTTR da sua organização. E, por meio de tudo isso, alinhe os preços com os resultados dos negócios para obter valor aprimorado sem dimensionar os custos para aumentar o uso.
A Observabilidade de nuvem está revolucionando o rastreamento distribuído para beneficiar seus negócios. Entre em contato com a ServiceNow para saber mais!