Crie replicações de tópico de mensagem e Kafka no Stream Connect

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 4 min. de leitura

    • Configure replicações de mensagem e tópico para replicar dados entre o. Apache Kafkaambiente e. ServiceNow.

    Antes de Iniciar

    • Função necessária: Message_replication_admin
    • Este recurso requer uma assinatura. Para obter mais informações, consulte Usando Stream Connectpara Apache Kafka.
    • Verifique o. Serviço de envio de mensagens HermesE o Gerador de certificados PKI da instância estão funcionando.
    • Configure e inicie um MID Server. Para obter mais informações, consulte Configuring MID Servers. . MID Serverdeve ser capaz de acessar Hermesendpoints por meio do firewall. Trabalhe com o administrador de rede para garantir que os seguintes intervalos de portas estejam abertos.
      • Produtor: 4000–4050
      • Consumer1: 4100–4150
      • Consumer2: 4200–4250
    • A replicação de mensagem do Stream Connect usa um alias de conexão e credencial para se conectar ao Kafka local. Create a Connection & Credential aliascom um Tipo de conexão de Kafka . Um alias de conexão e credencial requer um Conexão do Kafka e a. Credencial SSL do Kafka .
    • A replicação de mensagem do Stream Connect requer ServiceNowPlug-in do instalador do Stream Connect [com.glide.hub.stream_connect.installer].

    Por Que e Quando Desempenhar Esta Tarefa

    Esta página mostra como criar um registro de replicação de mensagem e um registro de replicação de tópico Kafka associado.

    Um registro de Replicação de mensagem representa um único cluster Kafka. Por exemplo, se você tiver dois clusters Kafka, criará dois registros de replicação de mensagens diferentes, um para cada cluster. Um registro de Replicação de mensagem é o registro primário de todos os tópicos que estão sendo replicados para ou a partir desse cluster. Os registros de replicação de mensagem são armazenados na tabela replicações de mensagem [sys_sc_message_replication].

    Um registro de Replicação de tópico do Kafka especifica a replicação de um tópico de origem único para um tópico de destino único. Você não pode replicar um único tópico de origem para vários destinos. Você só pode replicar para cada destino uma vez. Os registros de replicação de tópico do Kafka são armazenados na tabela replicações de tópico do kafka [sys_kafka_topic_replication].

    Procedimento

    1. Navegar até Tudo > IntegrationHub > Conexão de fluxo > Replicações de mensagem e selecione Novo .
    2. No formulário Replicação de mensagens, preencha os campos.
      Tabela 1. Formulário de replicação de mensagem
      Campo Descrição
      Nome Nome da replicação da mensagem.
      Conexão de serviço de envio de mensagens Alias de conexão e credencial que especifica a qual serviço de mensagens se conectar.
      Status Último status conhecido da replicação de mensagem. Esse campo é definido automaticamente.
      Mensagem de erro Mensagem de erro com base no último status conhecido da replicação de mensagem. Esse campo é definido automaticamente.
      Aplicação Escopo da aplicação para a replicação de mensagem. Esse campo é definido automaticamente.
      Ativo Opção para ativar a replicação de mensagem.
    3. Selecione Salvar.
      Depois de salvar o formulário, a guia replicações de tópico do Kafka aparece na parte inferior da página.
    4. Na guia replicações de tópico do Kafka, selecione Novo .
    5. No formulário Replicação de tópicos do Kafka, preencha os campos.
      Tabela 2. Formulário de replicação de tópico do Kafka
      Campo Descrição
      Nome

      Nome da replicação do tópico. O nome é gerado automaticamente com base nos valores em outros campos.

      Para gerar o. Nome , insira os valores para Direção , ServiceNow e. Nome do tópico e selecione Salvar .

      Quando o. Direção é Para ServiceNow . Nome tem o seguinte formato: nome do tópico [nome da replicação] -> ServiceNowNome do tópico [SN] .

      Quando o. Direção é Da ServiceNow . Nome tem o seguinte formato: ServiceNowNome do tópico [SN] -> nome do tópico [nome da replicação] .
      Direção Direção da replicação do tópico.
      • Para ServiceNow Replica um tópico do seu ambiente Kafka local para ServiceNow.
      • Da ServiceNow replica um tópico de ServiceNowPara seu ambiente Kafka local.
      Tópico do ServiceNow Referência à tabela Tópicos do Kafka [sys_kafka_topic].
      Replicação Replicação de mensagem que gerencia esta replicação de tópico.
      Nome do tópico Nome do tópico em seu ambiente Kafka local.
      Ativo Opção para ativar a replicação de tópico.
      Status Último status conhecido da replicação de tópico. Esse campo é definido automaticamente.
      Mensagem de erro Mensagem de erro com base no último status conhecido da replicação de tópico. Esse campo é definido automaticamente.
      Rastrear no conjunto de atualizações atual Quando selecionada, a replicação de tópico é adicionada ao conjunto de atualizações atual, portanto, é mais simples promovê-la da subprodução para instâncias de produção. Pode ser necessário configurar o formulário para adicionar este campo.
    6. Selecione Enviar.
    7. Siga as etapas 1 a 6 para criar replicações de mensagem e tópico para todos os clusters e tópicos do Kafka.

    Resultado

    Depois de criar todos os registros de replicação de mensagens e tópicos, as mensagens devem ser replicadas. Você pode verificar Status e. Mensagem de erro Campos no registro Replicação de mensagens para obter um status geral de como a replicação está funcionando.

    Você também pode verificar Status e. Mensagem de erro Campos em cada registro individual de Replicação de tópico do Kafka para o status de uma replicação de tópico específico.

    Cada registro de replicação de tópico do Kafka também tem uma lista relacionada chamada Estatísticas de replicação de mensagem. Quando as replicações estão em execução, esta lista exibe registros de métricas, que são criados a cada 60 segundos para cada replicação de tópico. Cada registro de métricas tem informações sobre a replicação de tópico, incluindo Contagem de mensagens , que mostra o número de mensagens replicadas em cada intervalo de coleta.

    O que Fazer Depois

    Se você estiver replicando mensagens do Kafka local para ServiceNow, você pode configurar um Script , ETL , ou Mapa de transformação o consumidor deve processar as mensagens ou configurar um Gatilho de mensagem do Kafka para iniciar um fluxo.

    Se você estiver replicando mensagens de ServiceNowPara o Kafka local, você pode usar um Kafka Producer stepem Workflow Studioou use API do ProducerV2 para publicar mensagens no HermesE seu Kafka local.