Exibição de assinaturas e estatísticas do Kafka

  • Versão de lançamento: Zurich
  • Atualizado 31 de jul. de 2025
  • 5 min. de leitura
  • Exiba informações detalhadas sobre um consumidor Kafka e seu desempenho, incluindo o número de registros adicionados ao tópico, o número de registros processados e o número de registros restantes a serem processados.

    Uma assinatura é um registro associado a um consumidor. Armazena detalhes de configuração e desempenho sobre o consumidor. Uma assinatura é criada quando um fluxo Kafka é ativado.

    Cada página de assinatura inclui as seções a seguir.
    • Assinatura do Kafka
    • Métricas
    • Grupos de partição de assinatura do Kafka
    • Stream Connect logs
    • Estatísticas do consumidor do Kafka

    Para exibir um registro de assinatura, navegue até IntegrationHub > Conexão de fluxo > Assinaturas. Selecione o ícone de informações ( ícone de informaçõespara a assinatura que você deseja exibir e selecione Registro em aberto .

    Figura 1. Página de assinatura de amostra para um consumidor Kafka
    A página de assinatura do Kafka com detalhes da assinatura, métricas e informações sobre grupos de partição, logs do consumidor e estatísticas do consumidor.

    Assinatura do Kafka

    A seção Assinatura do Kafka mostra detalhes de configuração do consumidor e da assinatura.
    Campo Descrição
    Número Número do registro de assinatura.
    Estado Estado do consumidor. As opções são:
    • ATIVO
    • ATUALIZANDO
    • PARANDO
    Tópico Tópico do qual o consumidor está processando mensagens.
    ID do cliente Identificador exclusivo do consumidor.
    Política de posicionamento automático do Kafka Especifica onde o consumidor começa a ler mensagens do tópico. As opções são:
    • Mais antigo: O consumidor começa a ler a partir da mensagem mais antiga disponível no tópico.
    • mais recente: O consumidor lê somente as mensagens entregues ao tópico após o início do consumidor.
    Formato de serialização Formato de serialização da mensagem. As opções são:
    • Texto simples
    • Codificado
    Tem erro Indica se a assinatura tem erros.
    Simultaneidade Máxima Número máximo de processadores paralelos usados para consumir mensagens e o número de grupos de partição.
    Tempo excedido da partição do grupo Tempo máximo, em milissegundos, alocado para cada grupo de partição na assinatura.
    Partições do Kafka Número de partições no tópico.
    Tamanho máximo do lote Número máximo de mensagens processadas por execução. As opções são:
    • Otimizado automaticamente: O sistema escolhe o número de mensagens.
    • Um número: O usuário selecionou manualmente um número.

    Métricas

    Cada métrica é medida em três intervalos de tempo: Os cinco minutos anteriores, a hora anterior e as 24 horas anteriores.
    • Taxa de entrada do tópico: O número médio de registros adicionados ao tópico por segundo.
    • Profundidade da fila do tópico: O número médio de registros restantes a serem processados no tópico.
    • Taxa de processamento do consumidor: O número médio de registros processados por segundo. . Tempo estimado para processar a fila atual mostra o tempo necessário para processar as mensagens atualmente na fila. É calculado com base na profundidade da fila e na taxa de processamento do consumidor. A estimativa de tempo é formatada como HH:MM:SS.

    Links relacionados

    Exiba o registro do consumidor que está processando as mensagens selecionando Registro de processamento do consumidor aberto .

    Grupos de partição de assinatura do Kafka

    A guia Grupos de partição de assinatura do Kafka mostra os seguintes detalhes.
    Campo Descrição
    Número Número do grupo de partições.
    Proprietário deste grupo de partição Estado de propriedade do grupo de partições. As opções são:
    • NENHUM: O grupo de partições não pertence a nenhum trabalho de consumidor do Kafka. Ele está disponível para coleta e processamento.
    • PROCESSANDO: O grupo de partições pertence a um trabalho do consumidor Kafka e está processando mensagens.
    • BLOQUEADO: O grupo de partições não pertence a um trabalho do consumidor Kafka e não está disponível para coleta.

    Quando um trabalho do consumidor Kafka é ativado, ele verifica o registro atualizado mais antigo com um proprietário de NENHUM e escolhe um.

    Em seguida, o trabalho do consumidor muda o proprietário para PROCESSAMENTO e o processa por 10 segundos.

    Quando o processamento é concluído, o estado é alterado de volta para NENHUM, para que ele possa ser selecionado e processado novamente mais tarde.

    Se o trabalho do consumidor processar todas as mensagens, ele definirá o proprietário como BLOQUEADO por 10 segundos, após o que será definido como NENHUM novamente.

    Atualização em Data e hora em que o grupo de partições foi atualizado pela última vez.
    Quando a propriedade é perdida Data e hora em que a propriedade é perdida.
    Primeira partição Número da primeira partição do grupo de partições.
    Última partição (inclusive) Número da última partição do grupo de partições.
    Taxa de entrada

    Fornecido nos últimos cinco minutos, última hora e últimas 24 horas.

    Número médio de registros adicionados ao grupo de partições por segundo.
    Processamento do consumidor

    Fornecido nos últimos cinco minutos, última hora e últimas 24 horas.

    Número médio de mensagens consumidas do grupo de partições por segundo.
    Profundidade da fila

    Fornecido nos últimos cinco minutos, última hora e últimas 24 horas.

    Número médio de registros restantes a serem processados no grupo de partições.

    Stream Connect logs

    . Stream Connect A guia Logs exibe as entradas de log do consumidor associado. Cada entrada de log mostra quando foi criada; seu nível, mensagem e origem; e links para qualquer alerta relacionado ou registro de assinatura. Stream Connect os logs são armazenados no Stream Connect Tabela Logs [sys_consumer_log].

    Você pode habilitar o registro em log mais detalhado no Stream Connect registra em log por adicionando a propriedade do sistema glide.ih.kafka.stream_connect.debuge definindo como verdadeiro . Para evitar preencher os logs, esta propriedade é desabilitada automaticamente após 24 horas. Se você precisar de registro em log detalhado por mais de 24 horas, poderá reativar a propriedade manualmente.

    Estatísticas do consumidor do Kafka

    A guia Estatísticas do consumidor Kafka mostra os seguintes detalhes.
    Campo Descrição
    Criação em Data e hora em que o registro de estatísticas do consumidor foi criado.
    Intervalo Duração do registro de estatísticas do consumidor, fornecida em segundos.

    Você pode mudar a duração do intervalo com glide.ih.kafka.consumer.log_intervalpropriedade. O valor padrão é 60 segundos.

    Você pode especificar se as mensagens devem ser registradas no log do consumidor quando não houver mensagens Kafka produzidas ou consumidas durante o intervalo com glide.ih.kafka.consumer.log_empty_statspropriedade. O valor padrão é verdadeiro.

    Mensagens produzidas Número de mensagens produzidas para o tópico durante o intervalo de tempo.
    Mensagens consumidas Número de mensagens processadas pelo consumidor durante o intervalo de tempo.
    Bytes consumidos Número de bytes processados pelo consumidor durante o intervalo de tempo.
    Deslocamento Soma de todos os deslocamentos do grupo de partições.
    Mensagens de atraso Diferença entre o deslocamento final e o deslocamento atual.
    Deslocamento final Soma de todos os deslocamentos finais do grupo de partições.
    Partição do grupo Registro do grupo de partições.