Criar replicações de tópico de mensagem e Kafka no Stream Connect

Configure replicações de mensagem e tópico para replicar dados entre seus Apache Kafka ambiente e. ServiceNow.

Antes de Iniciar

• Função necessária: Message_replication_admin
• Este recurso requer uma assinatura. Para obter mais informações, consulte Usando Stream Connect para Apache Kafka.
• Verifique Serviço de envio de mensagens Hermes E o Gerador de certificados PKI da instância estão funcionando.
  • Check the status of and connection to the Hermes Kafka cluster.
  • Verifique Key Management Framework Health Para verificar se todos os três itens na seção PKI da instância estão operacionais.

• Configure e inicie um MID Server ou MID Server cluster. Para obter mais informações, consulte Configuring MID Servers e Configure a MID Server cluster.

  . MID Server deve ser capaz de acessar Hermes endpoints por meio do firewall. Trabalhe com o administrador de rede para garantir que os seguintes intervalos de portas estejam abertos.

  • Produtor: 4000–4050
  • Consumer1: 4100–4150
  • Consumer2: 4200–4250

  Se você estiver usando um MID Server cluster, ele deve ter um tipo de cluster de Balanceamento de carga . . Failover o tipo de cluster não é compatível.

• A replicação de mensagem do Stream Connect usa um alias de conexão e credencial para se conectar ao Kafka local. Create a Connection & Credential alias. Tipo de conexão de Kafka . Um alias de conexão e credencial requer um Conexão do Kafka e um Credencial SSL do Kafka .
• Replicação de mensagem do Stream Connect requer ServiceNow Instalador do Stream Connect [plug-in com.glide.hub.stream_connect.installer].

Por Que e Quando Desempenhar Esta Tarefa

Esta página mostra como criar um registro de Replicação de mensagem e um registro de Replicação de tópico do Kafka associado.

Um registro de Replicação de mensagem representa um único cluster Kafka. Por exemplo, se você tiver dois clusters Kafka, criará dois registros de replicação de mensagem diferentes, um para cada cluster. Um registro de Replicação de mensagem é o registro primário de todos os tópicos que estão sendo replicados para ou a partir desse cluster. Os registros de replicação de mensagem são armazenados na tabela replicações de mensagem [sys_sc_message_replication].

Um registro de Replicação de tópico do Kafka especifica a replicação de um único tópico de origem para um único tópico de destino. Você não pode replicar um único tópico de origem para vários destinos. Você só pode replicar para cada destino uma vez. Os registros de replicação de tópico do Kafka são armazenados na tabela replicações de tópico do Kafka [sys_kafka_topic_replication].

Procedimento

1. Navegar até Tudo > IntegrationHub > Conexão de fluxo > Replicações de mensagem e selecione Novo .
2. No formulário Replicação de mensagem, preencha os campos.

   Tabela 1. Formulário Replicação de mensagem

   Campo	Descrição
   Nome	Nome da replicação da mensagem.
   Conexão de serviço de envio de mensagens	Alias de conexão e credencial que especifica a qual serviço de envio de mensagens se conectar.
   Aplicação	Escopo da aplicação para replicação de mensagem. Esse campo é definido automaticamente.
   Ativo	Opção para ativar a replicação de mensagem.

3. Selecione Save (Salvar).
   Depois de salvar o formulário, as guias Status de replicação de mensagem e replicações de tópico do Kafka aparecem na parte inferior da página.
4. Na guia replicações de tópico do Kafka, selecione Novo .
5. No formulário Replicação de tópico do Kafka, preencha os campos.

   Tabela 2. Formulário Replicação de tópico do Kafka

   Campo	Descrição
   Nome	Nome da replicação do tópico. O nome é gerado automaticamente com base nos valores em outros campos. Para gerar o. Nome insira os valores para Direção , Tópico da ServiceNow e Nome do tópico e selecione Salvar . . Direção . Para a ServiceNow . Nome tem o seguinte formato: nome do tópico [nome da replicação] -> ServiceNow Nome do tópico [SN] . . Direção . Da ServiceNow . Nome tem o seguinte formato: ServiceNow Nome do tópico [SN] -> nome do tópico [nome da replicação] .
   Direção	Direção da replicação do tópico. Para a ServiceNow Replica um tópico do seu ambiente Kafka local para ServiceNow. Da ServiceNow replica um tópico de ServiceNow Para seu ambiente Kafka local.
   Tópico do ServiceNow	Referência à tabela Tópicos do Kafka [sys_kafka_topic].
   Replicação	Replicação de mensagem que gerencia esta replicação de tópico.
   Nome do tópico	Nome do tópico em seu ambiente Kafka local.
   Ativo	Opção para ativar a replicação de tópico.
   Rastrear no conjunto de atualizações atual	Quando selecionada, a replicação de tópico é adicionada ao conjunto de atualizações atual, portanto, é mais simples promovê-la da subprodução para instâncias de produção. Pode ser necessário configurar o formulário para adicionar este campo.

6. Selecione Enviar.
7. Siga as etapas 1 a 6 para criar replicações de mensagem e tópico para todos os clusters e tópicos do Kafka.

Resultado

Depois de criar todos os registros de replicação de mensagens e tópicos, as mensagens devem ser replicadas. Você pode verificar a guia Status de replicação de mensagens [sys_sc_message_replication_status] no formulário Replicação de mensagens para exibir o status, MID Server e mensagens de erro para cada replicação de mensagem.

Você também pode verificar a guia Status de replicação de canal [sys_sc_channel_replication_status] no registro Replicação de tópico do Kafka para exibir detalhes de status de cada replicação de tópico, incluindo MID Server , Mensagem de erro e Erro desde valores.

Cada registro de replicação de tópico do Kafka também tem uma lista relacionada chamada Estatísticas de replicação de mensagem. Depois que as replicações estão em execução, esta lista exibe registros de métricas, que são criados a cada 60 segundos para cada replicação de tópico. Cada registro de métrica tem informações sobre a replicação de tópico, incluindo Contagem de mensagens , que mostra o número de mensagens replicadas em cada intervalo de coleta.

O que Fazer Depois

Se você estiver replicando mensagens do Kafka local para ServiceNow, você pode configurar um Script , ETL ou Mapa de transformação o consumidor deve processar as mensagens ou configurar um Gatilho Mensagem do Kafka para iniciar um fluxo.

Se você estiver replicando mensagens de ServiceNow Para o Kafka local, você pode usar um Kafka Producer step em Workflow Studio ou use API ProducerV2 para publicar mensagens para Hermes E seu Kafka local.