Use os consumidores de ETL e mapa de transformação para importar dados

Use definições de ETL e transforme mapas para processar eventos do Kafka. As definições de ETL e os mapas de transformação especificam a lógica de transformação a ser usada ao extrair dados por meio de importações programadas. Você pode usar as mesmas definições de ETL e mapas de transformação para transformar os eventos recebidos por meio do Kafka.

Antes de Iniciar

• Função necessária: integration_hub_admin
• Esta página faz parte do Stream Connect para Apache Kafka guia de início rápido.
• Este documento mostra como consumir mensagens por meio de sua conexão com a Hermes. Para configurar e testar sua conexão, consulte Set up a secure connection to the Hermes Messaging Service e Testando a conexão com a Hermes por meio do gateway ADCv2.
• A primeira parte desta página mostra como usar o consumidor de ETL para consumir mensagens. Para usar o consumidor de ETL, você precisa de um transformador de conjunto de importação robusto.
• A segunda parte desta página mostra como usar um consumidor de mapa de transformação para consumir mensagens. Para usar o Consumidor de Mapa de Transformação, você precisa de um mapa de transformação.

Procedimento

1. Crie um tópico para consumir ETL e transformar mensagens do consumidor do mapa.
   1. Use o comando a seguir para criar um tópico no Hermes.
      Neste exemplo, o nome do tópico é topic2.

      bin/kafka-topics.sh --create --command-config config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002, <instance name>.service-now.com:4003 --topic snc.<instance name>.topic2

      Certifique-se de substituir<instance name> pelo nome da sua instância.
   2. Para exibir o tópico, faça login na instância e navegue até Todos > IntegrationHub > Conexão de fluxo > Tópicos.
      Nota:

      Demora aproximadamente 10 minutos para criar um tópico.
2. Crie um consumidor de ETL para consumir dados do tópico.
   1. Navegar até Todos > IntegrationHub > Consumidores > Consumidor de ETL.
   2. Selecione "Novo".
   3. No formulário Consumidor do Kafka, insira um nome no campo Nome.
      Este exemplo usa o nome Importação de membro.
   4. Para o transformador do conjunto de importação robusto arquivado, selecione um transformador do conjunto de importação robusto existente.
      Para o transformador de conjunto de importação robusto, selecione um que não esteja usando a opção de armazenar dados em uma única coluna. Para poder ver as mensagens, certifique-se de que o transformador robusto do conjunto de importação tenha a opção Detalhamento habilitada.
   5. Desmarque a opção Dados em coluna única.
      Esta opção só deve ser selecionada para tabelas de conjunto de importação com dados em uma única coluna.
   6. Defina o mapeamento de Coluna como Rótulo.

      Isso significa que as chaves JSON da mensagem de entrada são mapeadas para os rótulos de coluna da tabela Import Set.

      

   7. Salve o formulário.
   8. Criar um fluxo do Kafka para o consumidor.
   9. No formulário Fluxo do Kafka, defina os seguintes valores de campo.
      • Nome para fluxo do tópico2.
      • Tópico para o tópico criado anteriormente, tópico2.
      • Simultaneidade máxima para 1.
      • Comece a consumir para Mensagens recebidas após a primeira ativação.
      • Manipulação de mensagens para otimizar automaticamente.
   10. Selecione o link Ativar em Links relacionados.

       Você deve conseguir ver a assinatura ativada.

       

3. Publique mensagens no tópico2.
   1. Execute o comando a seguir para publicar mensagens no tópico2.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Certifique-se de substituir<instance name> pelo nome da sua instância.

      Este comando solicita mensagens.

   2. Envie a seguinte mensagem JSON.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Você pode enviar esta mensagem com qualquer valor, mas a chave da mensagem JSON deve corresponder aos rótulos da tabela Import Set.
   3. Navegue de volta para o consumidor de ETL que você criou.

      Após cerca de um minuto, os dados devem ter sido importados por meio do conjunto de importação.

      

   4. Para exibir informações detalhadas sobre o conjunto de importação, selecione o número do conjunto de importação.

      

   5. Para exibir informações detalhadas sobre uma linha de conjunto de importação, selecione o número da linha do conjunto de importação.

      

4. Crie um consumidor de mapa de transformação para consumir dados.
   1. Navegar até Todos > IntegrationHub > Consumidores > Transformar consumidor de mapa.
   2. Selecione "Novo".
   3. No formulário Consumidor do mapa de transformação do Kafka, insira um nome no campo Nome.
   4. Para o campo Mapa de transformação, selecione um mapa de transformação existente.

      

   5. Salve o formulário.
   6. Criar um fluxo do Kafka para o consumidor.
   7. No formulário Fluxo do Kafka, defina os seguintes valores de campo.
      • Nome para fluxo de mapa de transformação.
      • Tópico para o tópico criado anteriormente, tópico2.
      • Simultaneidade máxima para 1.
      • Comece a consumir para Mensagens recebidas após a primeira ativação.
      • Manipulação de mensagens para otimizar automaticamente.
   8. Selecione o link Ativar em Links relacionados.

      Você deve conseguir ver a assinatura ativada.

      

5. Publique mensagens no tópico2.
   1. Execute o comando a seguir para publicar mensagens no tópico2.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Certifique-se de substituir<instance name> pelo nome da sua instância.

      Este comando solicita mensagens.

   2. Envie a seguinte mensagem JSON.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Você pode enviar esta mensagem com qualquer valor, mas a chave da mensagem JSON deve corresponder aos rótulos da tabela Import Set.
   3. Vá para o consumidor do mapa de transformação que você criou.
      Após cerca de um minuto, os dados devem ter sido importados por meio do conjunto de importação.
   4. Para exibir informações detalhadas sobre o conjunto de importação, selecione o número do conjunto de importação como na etapa 3d acima.

O que Fazer Depois

Use a etapa Produtor do Kafka e a API ProdutorV2 para publicar mensagens.