Tópicos de monitoramento no cluster Kafka Hermes
Monitore o processamento de mensagens e exiba tópicos no cluster Kafka Hermes que pertencem a você usando o Serviço de envio de mensagens Hermes.
Partições de tópicos
Os eventos são armazenados em uma ou mais partições em um tópico. Dividir um tópico em partições ajuda a distribuir a carga de processamento entre vários agentes no Hermes Cluster do Kafka. Cada agente pode lidar com mensagens de diferentes partições do mesmo tópico, garantindo que nenhum agente seja responsável pelo processamento de todas as mensagens de um único tópico. Esta distribuição melhora a escalabilidade e a tolerância a falhas.
Os eventos em uma partição são imutáveis. Um evento não pode substituir outro evento na mesma partição. Se o mesmo evento for enviado para uma partição mais de uma vez, ele será anexado à lista de eventos na partição.
Acompanhamento de mensagens em partições
Você pode rastrear mensagens no cluster Kafka Hermes exibindo as informações da partição.
- Determine se suas mensagens estão chegando ao cluster Kafka Hermes verificando se o valor de deslocamento final muda quando você produz mensagens para um tópico.
- Determine se as mensagens expiraram, anotando o valor de deslocamento inicial, que aumenta conforme as mensagens expiram. Se você enviar mensagens para um tópico, mas o deslocamento inicial for maior do que o esperado, algumas das mensagens já expiraram. As mensagens expiram no cluster Kafka Hermes após 36 horas.
Acompanhamento do andamento do consumidor
Você pode rastrear o andamento do processamento de mensagens para cada consumidor exibindo as informações do consumidor.
- Veja os consumidores de cada partição em um tópico, incluindo o ID do grupo e o ID do consumidor de cada consumidor.
- Determine qual mensagem um consumidor está processando vendo a coluna Deslocamento atual.
- Determine se o consumidor está atrasado verificando a coluna Atraso. O atraso é a diferença entre o deslocamento atual e o deslocamento final que indica quantas mensagens restam.
Como inspecionar detalhes da mensagem
Você pode detectar problemas com o consumo de mensagens usando o inspetor de tópicos. Por exemplo, se uma mensagem que você produziu não for consumida do cluster Kafka Hermes, você poderá validar a carga e a chave da mensagem inspecionando o tópico. Você também pode baixar a carga completa e salvá-la como um arquivo em sua máquina local.
Você pode exibir mensagens como dados binários na codificação de base 64 em vez de cadeias de caracteres UTF8 adicionando uma propriedade do sistema. Consulte Propriedades do sistema Serviço de envio de mensagens Hermes.