Replicação de mensagem do Stream Connect

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 3 min. de leitura

    • Replique dados entre seus Apache Kafkaambiente e. ServiceNow.

    Com a replicação de mensagens do Stream Connect, você pode configurar e gerenciar replicações de mensagens diretamente do ServiceNowinstância.

    A replicação de mensagem do Stream Connect usa um MID Serverpara executar as replicações de dados, para que você não precise configurar ou hospedar serviços de replicação adicionais. Isso também simplifica a configuração da replicação de mensagens gerando automaticamente os certificados necessários.

    Habilitando um MID Serverpara replicar dados

    A replicação de mensagem do Stream Connect usa um MID ServerCom uma extensão de replicador para replicar dados de e para o Kafka local. Para obter instruções sobre como configurar o. MID Server, consulte Configuring MID Servers.

    . MID Serverdeve ser capaz de acessar Hermesendpoints por meio do firewall. Trabalhe com o administrador de rede para garantir que os seguintes intervalos de portas estejam abertos.
    • Produtor: 4000–4050
    • Consumer1: 4100–4150
    • Consumer2: 4200–4250

    Configurando conexões e credenciais para Kafka

    A replicação de mensagem do Stream Connect usa um alias de conexão e credencial para se conectar ao Kafka local. Para configurar um alias de conexão e credencial:
    1. Crie credenciais do Kafka SSL com os dados de autenticação necessários para a conexão.
    2. Configure uma conexão Kafka Para se conectar ao seu ambiente Kafka.
    3. Create a Connection & Credential alias, para associar as informações de conexão e os dados de credencial. O alias de conexão e credencial deve ter um Tipo de conexão de Kafka e devem estar acessíveis no MID Server.

    Estas etapas são para configurar um alias de conexão e credencial para se conectar ao Kafka. Você não precisa configurar conexões ou credenciais para se conectar a. Hermes, porque MID Serverprocessa automaticamente a criação do armazenamento de chaves, armazenamento confiável e certificados necessários.

    Criando replicações de mensagem e tópico

    A replicação de mensagens requer registros de replicação de mensagens e registros de replicação de tópico Kafka.

    Um registro de Replicação de mensagem representa um único cluster Kafka. Por exemplo, se você tiver dois clusters Kafka, criará dois registros de Replicação de mensagens diferentes, um para cada cluster. Um registro de Replicação de mensagem é o registro primário de todos os tópicos que estão sendo replicados para ou a partir desse cluster. Os registros de replicação de mensagem são armazenados na tabela replicações de mensagem [sys_sc_message_replication].

    Um registro de Replicação de tópico do Kafka especifica a replicação de um tópico de origem único para um tópico de destino único. Você não pode replicar um único tópico de origem para vários destinos. Você só pode replicar para cada destino uma vez. Os registros de replicação de tópico do Kafka são armazenados na tabela replicações de tópico do kafka [sys_kafka_topic_replication].

    Para obter um guia passo a passo para criar registros de replicação de mensagens e tópicos, consulte Crie replicações de tópico de mensagem e Kafka no Stream Connect.

    Exibindo estatísticas de replicação de mensagens

    Quando as replicações estão em execução, o sistema cria um registro de métricas para cada replicação de tópico ativo a cada 60 segundos. Os registros de métricas fornecem informações sobre replicações de tópicos, incluindo Contagem de mensagens , que mostra o número de mensagens replicadas em cada intervalo de coleta.

    Você pode exibir registros de métricas na tabela Estatísticas de replicação de mensagens [sys_sc_channel_replication_metric]. Você também pode exibir registros de métricas de um tópico específico verificando as Estatísticas de replicação de mensagem no registro de replicação de tópico do Kafka.

    Para obter uma lista de métricas de replicação de mensagens e suas descrições, consulte Exibindo estatísticas de replicação de mensagem de conexão de fluxo.

    Plug-in necessário

    A replicação de mensagem do Stream Connect requer ServiceNowPlug-in do instalador do Stream Connect [com.glide.hub.stream_connect.installer].

    Funções

    A função message_replication_admin pode criar, modificar e excluir registros em todas as tabelas de replicação de mensagens, incluindo as tabelas de conexão e credenciais e as tabelas de replicação de mensagem e tópico.

    A função message_replication_user pode exibir registros nas tabelas de replicação de mensagens.

    Registro em log

    A maioria dos problemas é registrada em MID Serverlog. O registro de depuração adicional pode ser habilitado definindo o. glide.stream_connect.message_replication.debug MID Serverpropriedade para verdadeiro .