Replicação de mensagem do Stream Connect

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 3 min. de leitura

    • Replique os dados entre o ambiente [ Apache Kafka e o ServiceNow.

    Com a Replicação de mensagens do Stream Connect, você pode configurar e gerenciar replicações de mensagens diretamente da sua instância ServiceNow.

    A replicação de mensagem do Stream Connect usa um MID Server para executar as replicações de dados, portanto, você não precisa configurar ou hospedar serviços de replicação adicionais. Também simplifica a configuração da replicação de mensagens, gerando automaticamente os certificados necessários.

    Habilitando um MID Server para replicar dados

    A Replicação de mensagem do Stream Connect usa um MID Server com uma extensão de replicador para replicar dados de e para o Kafka local. Para obter instruções sobre como configurar o MID Server, consulte Configuring MID Servers.

    O MID Server deve ser capaz de acessar os endpoints Hermes por meio do firewall. Trabalhe com o administrador da rede para garantir que os seguintes intervalos de portas estejam abertos.
    • Produtor: 4000–4050
    • Consumidor1: 4100–4150
    • Consumidor2: 4200–4250

    Configuração de conexões e credenciais para Kafka

    A Replicação de mensagem do Stream Connect usa um alias de conexão e credencial para se conectar ao seu Kafka local. Para configurar um alias de conexão e credencial:
    1. Criar credenciais SSL do Kafka com os dados de autenticação necessários para a conexão.
    2. Configurar uma conexão do Kafka para se conectar ao seu ambiente Kafka.
    3. Create a Connection & Credential alias, para associar as informações de conexão e os dados de credencial. O alias de conexão e credencial deve ter um tipo de conexãoKafka e deve ser acessível a partir do MID Server.

    Essas etapas são para configurar um alias de conexão e credencial para se conectar ao Kafka. Você não precisa configurar conexões ou credenciais para se conectar a Hermes, porque o MID Server lida automaticamente com a criação do armazenamento de chaves, do armazenamento confiável e dos certificados necessários.

    Como criar replicações de mensagem e tópico

    A replicação de mensagem requer registros de replicação de mensagem e registros de replicação de tópico do Kafka.

    Um registro de replicação de mensagem representa um único cluster Kafka. Por exemplo, se você tiver dois clusters Kafka, crie dois registros de Replicação de mensagem diferentes, um para cada cluster. Um registro de Replicação de mensagem é o registro primário de todos os tópicos que estão sendo replicados de ou para esse cluster. Os registros de replicação de mensagem são armazenados na tabela Replicações de mensagem [sys_sc_message_replication].

    Um registro de replicação de tópico do Kafka especifica a replicação de um único tópico de origem para um único tópico de destino. Você não pode replicar um único tópico de origem para vários destinos. Você só pode replicar para cada destino uma vez. Os registros de replicação de tópico do Kafka são armazenados na tabela Replicações de tópico do Kafka [sys_kafka_topic_replication].

    Para obter um guia passo a passo para criar registros de replicação de mensagem e tópico, consulte Criar replicações de mensagem e tópico do Kafka no Stream Connect.

    Exibição de estatísticas de replicação de mensagem

    Depois que as replicações estiverem em execução, o sistema criará um registro de métricas para cada replicação de tópico ativo a cada 60 segundos. Os registros de métricas fornecem informações sobre replicações de tópico, incluindo a Contagem de mensagens, que mostra o número de mensagens replicadas em cada intervalo de coleta.

    Você pode exibir registros de métricas na tabela Estatísticas de replicação de mensagens [sys_sc_channel_replication_metric]. Você também pode exibir registros de métricas para um tópico específico verificando as Estatísticas de replicação de mensagem em seu registro de replicação de tópico do Kafka.

    Para obter uma lista de métricas de replicação de mensagem e suas descrições, consulte Exibição de estatísticas de replicação de mensagens do Stream Connect.

    Plug-in necessário

    A Replicação de mensagem do Stream Connect requer o plug-in ServiceNow Stream Connect Replication - Kafka [com.glide.hub.stream_connect.replication.kafka].

    Funções

    A função message_replication_admin pode criar, modificar e excluir registros em todas as tabelas de replicação de mensagem, incluindo as tabelas de conexão e de credencial e as tabelas de replicação de mensagem e tópico.

    A função message_replication_user pode exibir registros nas tabelas de replicação de mensagens.

    Registro em Log

    A maioria dos problemas é registrada no log MID Server. O registro em log de depuração adicional pode ser habilitado definindo a propriedade glide.stream_connect.message_replication.debug MID Server como verdadeiro.