Stream Connect guia de início rápido

  • Versão de lançamento: Xanadu
  • Atualizado 1 de ago. de 2024
  • 2 min. de leitura

    • Este guia de início rápido fornece uma visão geral de como configurar e usar cada um dos seis produtores e consumidores do Stream Connect para trocar dados entre sua instância ServiceNow e um ambiente Kafka.

    O Stream Connect tem dois produtores que enviam dados de ServiceNow para um ambiente Kafka.
    • Etapa do produtor do Kafka em Workflow Studio
    • API ProducerV2
    O Stream Connect também tem quatro consumidores que recuperam dados de um ambiente Kafka.
    • Gatilho de mensagem do Kafka no Workflow Studio
    • Consumidor de ETL (Extrair Carga de Transformação)
    • Consumidor do mapa de transformação
    • Consumidor de script

    Para vincular sua instância ServiceNow a um ambiente Kafka, o Stream Connect usa o Serviço de envio de mensagens Hermes. O diagrama a seguir mostra cada um dos produtores e consumidores e como eles se conectam ao ambiente Kafka, mostrado aqui como o site do cliente, por meio do Hermes.

    Figura 1. Produtores e consumidores do Stream Connect
    Diagrama que mostra produtores e consumidores do Stream Connect e como eles se conectam a um ambiente Kafka, descrito como o "local do cliente", por meio do Serviço de envio de mensagens Hermes.

    Para obter mais informações, consulte Usando Stream Connect para Apache Kafka e o Hermes Messaging Service.

    Introdução

    Para representar o local do cliente, este guia usa Apache Kafka ferramentas de linha de comando executadas no seu computador. Os parâmetros de configuração usados com esta ferramenta podem ser usados para configurar qualquer conexão de cliente com o gateway do Controlador de entrega de aplicações, versão 2 (ADCv2) usando o protocolo Kafka.

    Todos os comandos fornecidos são testados com a versão do OpenSSL (LibreSSL 2.8.3) e Apache Kafka versão de distribuição binária kafka_2.13-3.4.0.tgz. No entanto, todos os comandos devem funcionar com qualquer versão que você tenha em seu ambiente local.

    Etapas de início rápido

    Este guia de início rápido tem cinco etapas. As etapas 1 e 2 abordam como configurar e testar uma conexão com o Hermes. As etapas 3 a 5 mostram como configurar e usar cada um dos produtores e consumidores do Stream Connect para enviar e receber dados.

    1. O gateway ADCv2 usa autenticação mútua para autenticar solicitações, portanto, a primeira etapa é criar um armazenamento de chaves e um armazenamento confiável para usar com seu cliente Kafka favorito. A página a seguir mostra como criar os certificados necessários: Set up a secure connection to the Hermes Messaging Service.
    2. Depois de configurar uma conexão segura com o Hermes, verifique se o armazenamento de chaves e o armazenamento confiável foram gerados corretamente Testando a conexão com o Hermes por meio do gateway ADCv2.
    3. Agora você pode Use o gatilho de mensagem do Kafka e o consumidor de script para consumir mensagens. A primeira parte desta página mostra como usar o gatilho de mensagem do Kafka em Workflow Studio para recuperar mensagens do Kafka. A segunda parte mostra como usar o consumidor de script para recuperar mensagens.
    4. E Use o ETL e os consumidores do mapa de transformação para importar dados. As definições de ETL e os mapas de transformação especificam a lógica de transformação a ser usada ao extrair dados por meio de importações agendadas. Você pode usar as mesmas definições de ETL e mapas de transformação para transformar os eventos recebidos por meio do Kafka.
      Nota:
      Para usar o consumidor de ETL, você precisa de um transformador robusto de conjunto de importação. Da mesma forma, para usar o consumidor do mapa de transformação, você precisa de um mapa de transformação.
    5. Por fim, você pode Use a etapa Produtor do Kafka e a API ProdutorV2 para publicar mensagens. Esta página mostra como usar a etapa Produtor do Kafka em Workflow Studio e a API ProducerV2 para enviar mensagens para o Kafka.