Stream Connect guia de início rápido

Este guia de início rápido fornece uma visão geral de como configurar e usar cada um dos seis produtores e consumidores do Stream Connect para trocar dados entre o. ServiceNow E um ambiente Kafka.

O Stream Connect tem dois produtores que enviam dados de ServiceNow Para um ambiente Kafka.

• O produtor do Kafka entra Workflow Studio
• API ProducerV2

O Stream Connect também tem quatro consumidores que recuperam dados de um ambiente Kafka.

• Gatilho Mensagem do Kafka em Workflow Studio
• Extrair consumidor de carga de transformação (ETL)
• Consumidor do mapa de transformação
• Consumidor de script

Para vincular seu ServiceNow Para um ambiente Kafka, o Stream Connect usa o. Serviço de envio de mensagens Hermes. O diagrama a seguir mostra cada um dos produtores e consumidores e como eles se conectam ao seu ambiente Kafka, mostrado aqui como local do cliente , Por Hermes.

Figura 1. Produtores e consumidores do Stream Connect

Para obter mais informações, consulte Usando Stream Connect para Apache Kafka e o. Hermes Messaging Service.

Introdução

Para representar o local do cliente, este guia usa Apache Kafka as ferramentas de linha de comando são executadas em seu computador. Os parâmetros de configuração usados com esta ferramenta podem ser usados para configurar qualquer conexão de cliente com o gateway do Controlador de entrega de aplicações, versão 2 (ADCv2) usando o protocolo Kafka.

Todos os comandos fornecidos são testados com a versão OpenSSL (LibreSSL 2,8.3) e. Apache Kafka versão da distribuição binária kafka_2,13-3,4.0.tgz. No entanto, todos os comandos devem funcionar com qualquer versão que você tenha em seu ambiente local.

Etapas de início rápido

Este guia de início rápido tem cinco etapas. Os passos 1 e 2 abordam como configurar e testar uma ligação ao Hermes. As etapas 3 a 5 mostram como configurar e usar cada um dos produtores e consumidores do Stream Connect para enviar e receber dados.

1. O gateway ADCv2 usa autenticação mútua para autenticar solicitações, portanto, a primeira etapa é criar um armazenamento de chaves e armazenamento confiável para usar com seu cliente Kafka favorito. A página a seguir mostra como criar os certificados necessários: Configurar uma conexão segura com o Serviço de envio de mensagens Hermes.
2. Depois de configurar uma conexão segura com Hermes, verifique se o armazenamento de chaves e o armazenamento confiável foram gerados corretamente por Testando a conexão com Hermes por meio do gateway ADCv2 .
3. Agora você pode Use o gatilho Mensagem Kafka e o consumidor de script para consumir mensagens. A primeira parte desta página mostra como usar o gatilho Mensagem do Kafka no Workflow Studio Para recuperar mensagens do Kafka. A segunda parte mostra como usar o consumidor de script para recuperar mensagens.
4. E. Use os consumidores de ETL e Mapa de transformação para importar dados. As definições de ETL e os mapas de transformação especificam a lógica de transformação a ser usada ao extrair dados por meio de importações programadas. Você pode usar as mesmas definições de ETL e mapas de transformação para transformar os eventos recebidos por meio do Kafka.
   Nota:

   Para usar o consumidor de ETL, você precisa de um transformador robusto do conjunto de importação . Da mesma forma, para usar o consumidor do mapa de transformação, você precisa de um mapa de transformação .
5. Por fim, você pode Use a etapa do produtor Kafka e a API do ProducerV2 para publicar mensagens. Esta página mostra como usar a etapa Produtor do Kafka no Workflow Studio E a API ProducerV2 para enviar mensagens por push para o Kafka.