Use o ETL e os consumidores do mapa de transformação para importar dados

Use definições de ETL e transforme mapas para processar eventos do Kafka. As definições de ETL e os mapas de transformação especificam a lógica de transformação a ser usada ao extrair dados por meio de importações agendadas. Você pode usar as mesmas definições de ETL e mapas de transformação para transformar os eventos recebidos por meio do Kafka.

Antes de Iniciar

• Função necessária: integration_hub_admin
• Esta página faz parte de Stream Connect guia de início rápido.
• Este documento mostra como consumir mensagens por meio de sua conexão com o Hermes. Para configurar e testar sua conexão, consulte Configurar uma conexão segura com o Serviço de envio de mensagens Hermes e Como testar a conexão com o Hermes por meio do gateway ADCv2.
• A primeira parte desta página mostra como usar o consumidor de ETL para consumir mensagens. Para usar o consumidor de ETL, você precisa de um transformador robusto de conjunto de importação.
• A segunda parte desta página mostra como usar um consumidor de mapa de transformação para consumir mensagens. Para usar o consumidor do mapa de transformação, você precisa de um mapa de transformação.

Procedimento

1. Crie um tópico para consumir ETL e transformar mensagens do consumidor do mapa.
   1. Use o seguinte comando para criar um tópico no Hermes.
      Neste exemplo, o nome do tópico é topic2.

      bin/kafka-topics.sh --create --command-config config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002, <instance name>.service-now.com:4003 --topic snc.<instance name>.topic2

      Certifique-se de substituir<instance name> com o nome da sua instância.
   2. Para exibir o tópico, faça login na instância e navegue até Tudo > IntegrationHub > Conexão de fluxo > Tópicos.
      Nota:

      A criação de um tópico leva aproximadamente 10 minutos.
2. Crie um consumidor de ETL para consumir dados do tópico.
   1. Navegar até Tudo > IntegrationHub > Consumidores > Consumidor de ETL.
   2. Selecione Novo.
   3. No formulário Consumidor do Kafka, insira um nome no campo Nome.
      Este exemplo usa o nome Importação de membro.
   4. Para o transformador de conjunto de importação robusto arquivado, selecione um transformador de conjunto de importação robusto existente.
      Para o transformador robusto do conjunto de importação, selecione um que não esteja usando a opção de armazenar dados em uma única coluna. Para poder ver as mensagens, certifique-se de que o transformador robusto do conjunto de importação tenha a opção Detalhada habilitada.
   5. Desmarque a opção Dados em coluna única.
      Esta opção só deve ser selecionada para tabelas de conjunto de importação com dados em uma única coluna.
   6. Defina o Mapeamento de coluna como Rótulo.

      Isso significa que as chaves JSON da mensagem de entrada são mapeadas para os rótulos de coluna da tabela Conjunto para importação.

      

   7. Salve o formulário.
   8. Criar um fluxo do Kafka para o consumidor.
   9. No formulário Fluxo do Kafka, defina os seguintes valores de campo.
      • Nomearfluxo do Topic2.
      • Tópico para o tópico criado anteriormente, tópico2.
      • Máximo de simultaneidade para 1.
      • Começar a consumir para Mensagens recebidas após a primeira ativação.
      • Manipulação de mensagens para otimizar automaticamenteo .
   10. Selecione o link Ativar em Links relacionados.

       Você deve conseguir ver a assinatura ativada.

       

3. Publicar mensagens no tópico2.
   1. Execute o seguinte comando para publicar mensagens no topic2.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Certifique-se de substituir<instance name> com o nome da sua instância.

      Este comando solicita mensagens.

   2. Envie a seguinte mensagem JSON.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Você pode enviar esta mensagem com qualquer valor, mas a chave da mensagem JSON deve corresponder aos rótulos da tabela Conjunto para importação.
   3. Navegue de volta para o consumidor de ETL que você criou.

      Após cerca de um minuto, os dados devem ter sido importados por meio do conjunto de importação.

      

   4. Para exibir informações detalhadas sobre o conjunto de importação, selecione o número do conjunto de importação.

      

   5. Para exibir informações detalhadas sobre uma linha de conjunto de importação, selecione o número da linha de conjunto de importação.

      

4. Crie um consumidor de mapa de transformação para consumir dados.
   1. Navegar até Tudo > IntegrationHub > Consumidores > Consumidor de mapa de transformação.
   2. Selecione Novo.
   3. No formulário Consumidor do mapa de transformação do Kafka, insira um nome no campo Nome.
   4. Para o campo Mapa de transformação, selecione um mapa de transformação existente.

      

   5. Salve o formulário.
   6. Criar um fluxo do Kafka para o consumidor.
   7. No formulário Fluxo do Kafka, defina os seguintes valores de campo.
      • Nome para transformar o fluxo do mapa.
      • Tópico para o tópico criado anteriormente, tópico2.
      • Máximo de simultaneidade para 1.
      • Começar a consumir para Mensagens recebidas após a primeira ativação.
      • Manipulação de mensagens para otimizar automaticamenteo .
   8. Selecione o link Ativar em Links relacionados.

      Você deve conseguir ver a assinatura ativada.

      

5. Publicar mensagens no tópico2.
   1. Execute o seguinte comando para publicar mensagens no topic2.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Certifique-se de substituir<instance name> com o nome da sua instância.

      Este comando solicita mensagens.

   2. Envie a seguinte mensagem JSON.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Você pode enviar esta mensagem com qualquer valor, mas a chave da mensagem JSON deve corresponder aos rótulos da tabela Conjunto para importação.
   3. Acesse o Consumidor do Mapa de Transformação que você criou.
      Após cerca de um minuto, os dados devem ter sido importados por meio do conjunto de importação.
   4. Para exibir informações detalhadas sobre o conjunto de importação, selecione o número do conjunto de importação como na etapa 3d acima.

O que Fazer Depois

Use a etapa Produtor do Kafka e a API ProdutorV2 para publicar mensagens.