Criar replicações de mensagem e tópico do Kafka no Stream Connect

Configure replicações de mensagem e tópico para replicar dados entre o ambiente [ Apache Kafka e ServiceNow.

Antes de Iniciar

• Função necessária: message_replication_admin
• Este recurso faz parte de Stream Connect para Apache Kafka e requer uma assinatura. Para obter mais informações, consulte Como usar Stream Connect para Apache Kafka..
• Verifique se o Serviço de envio de mensagens Hermes e o Instance PKI Certificate Generator estão funcionando.
  • Check the status of and connection to the Hermes Kafka cluster.
  • Verifique o Key Management Framework Health para verificar se todos os três itens na seção PKI da instância estão operacionais.
• Configure e inicie um MID Server. Para obter mais informações, consulte Configuring MID Servers. O MID Server deve ser capaz de acessar os endpoints Hermes por meio do firewall. Trabalhe com o administrador da rede para garantir que os seguintes intervalos de portas estejam abertos.
  • Produtor: 4000–4050
  • Consumidor1: 4100–4150
  • Consumidor2: 4200–4250
• A Replicação de mensagem do Stream Connect usa um alias de conexão e credencial para se conectar ao seu Kafka local. Create a Connection & Credential alias com um tipo de conexão de Kafka. Um alias de conexão e credencial requer uma conexão do Kafka e uma credencial SSL do Kafka.
• A Replicação de mensagem do Stream Connect requer o plug-in ServiceNow Stream Connect Replication - Kafka [com.glide.hub.stream_connect.replication.kafka].

Por Que e Quando Desempenhar Esta Tarefa

Esta página mostra como criar um registro de replicação de mensagem e um registro de replicação de tópico do Kafka associado.

Um registro de replicação de mensagem representa um único cluster Kafka. Por exemplo, se você tiver dois clusters Kafka, crie dois registros de replicação de mensagem diferentes, um para cada cluster. Um registro de Replicação de mensagem é o registro primário de todos os tópicos que estão sendo replicados de ou para esse cluster. Os registros de replicação de mensagem são armazenados na tabela Replicações de mensagem [sys_sc_message_replication].

Um registro de replicação de tópico do Kafka especifica a replicação de um único tópico de origem para um único tópico de destino. Você não pode replicar um único tópico de origem para vários destinos. Você só pode replicar para cada destino uma vez. Os registros de replicação de tópico do Kafka são armazenados na tabela Replicações de tópico do Kafka [sys_kafka_topic_replication].

Procedimento

1. Navegar até Todos > IntegrationHub > Conexão de fluxo > Replicações de mensagem e selecione Novo.
2. No formulário de Replicação de mensagem, preencha os campos.

   Tabela 1. Formulário de Replicação de mensagem

   Campo	Descrição
   Nome	Nome da replicação da mensagem.
   Conexão de serviço de envio de mensagens	Alias de conexão e credencial que especifica o serviço de envio de mensagens ao qual se conectar.
   Status	Último status conhecido da replicação da mensagem. Esse campo é definido automaticamente.
   Mensagem de erro	Mensagem de erro com base no último status conhecido da replicação da mensagem. Esse campo é definido automaticamente.
   Aplicação	Escopo da aplicação para a replicação de mensagem. Esse campo é definido automaticamente.
   Ativo	Opção para ativar a replicação de mensagem.

3. Selecione Salvar.
   Depois de salvar o formulário, a guia Replicações de tópico do Kafka aparece na parte inferior da página.
4. Na guia Replicações de tópico do Kafka, selecione Novo.
5. No formulário de replicação de tópico do Kafka, preencha os campos.

   Tabela 2. Formulário de replicação de tópico do Kafka

   Campo	Descrição
   Nome	Nome da replicação do tópico. O nome é gerado automaticamente com base nos valores de outros campos. Para gerar o Nome, insira os valores dos campos Direção, Tópico da ServiceNowe Nome do tópico e selecione Salvar. Quando a Direção é Para a ServiceNow, o Nome tem o seguinte formato: nome do tópico [nome da replicação] -> ServiceNow nome do tópico [SN]. Quando a Direção é Da ServiceNow, o Nome tem o seguinte formato: ServiceNow nome do tópico [SN] -> nome do tópico [nome da replicação].
   Direção	Direção da replicação do tópico. Para a ServiceNow replica um tópico do ambiente Kafka local para ServiceNow. Da ServiceNow replica um tópico de ServiceNow para o ambiente Kafka local.
   Tópico do ServiceNow	Referência à tabela Tópicos do Kafka [sys_kafka_topic].
   Replicação	Replicação de mensagem que gerencia a replicação deste tópico.
   Nome do tópico	Nome do tópico no seu ambiente Kafka local.
   Ativo	Opção para ativar a replicação do tópico.
   Status	Último status conhecido da replicação do tópico. Esse campo é definido automaticamente.
   Mensagem de erro	Mensagem de erro com base no último status conhecido da replicação do tópico. Esse campo é definido automaticamente.
   Rastrear no conjunto de atualizações atual	Quando selecionada, a replicação do tópico é adicionada ao conjunto de atualizações atual, portanto, é mais simples promovê-la de instâncias de produto em fase de desenvolvimento para produção. Pode ser necessário configurar o formulário para adicionar este campo.

6. Selecione Enviar.
7. Siga as etapas de 1 a 6 para criar replicações de mensagem e tópico para todos os seus clusters e tópicos do Kafka.

Resultado

Depois de criar todos os registros de replicação de mensagens e tópicos, as mensagens devem ser replicadas. Você pode verificar os campos Status e Mensagem de erro no registro de replicação de mensagem para obter um status geral de como a replicação está funcionando.

Você também pode verificar os campos Status e Mensagem de erro em cada registro de Replicação de tópico do Kafka individual para o status de uma replicação de tópico específica.

Cada registro de replicação de tópico do Kafka também tem uma lista relacionada chamada Estatísticas de replicação de mensagem. Depois que as replicações estiverem em execução, esta lista exibirá registros de métricas, que são criados a cada 60 segundos para cada replicação de tópico. Cada registro de métrica tem informações sobre a replicação do tópico, incluindo a Contagem de mensagens, que mostra o número de mensagens replicadas em cada intervalo de coleta.

O que Fazer Depois

Se você estiver replicando mensagens do seu Kafka local em ServiceNow, poderá configurar um consumidor de Script, ETLou Mapa de transformação para processar as mensagens ou configurar um gatilho de Mensagem do Kafka para iniciar um fluxo.

Se você estiver replicando mensagens de ServiceNow para o Kafka local, poderá usar um Kafka Producer step em Flow Designer ou usar a API ProducerV2 para publicar mensagens no tópico Hermes e no Kafka local.