Use os consumidores de ETL e Mapa de transformação para importar dados

Use definições de ETL e mapas de transformação para processar eventos do Kafka. As definições de ETL e os mapas de transformação especificam a lógica de transformação a ser usada ao extrair dados por meio de importações programadas. Você pode usar as mesmas definições de ETL e mapas de transformação para transformar os eventos recebidos por meio do Kafka.

Antes de Iniciar

• Função necessária: Integration_hub_admin
• Esta página faz parte do Stream Connect guia de início rápido.
• Este documento mostra como consumir mensagens por meio de sua conexão com Hermes. Para configurar e testar sua conexão, consulte Configurar uma conexão segura com o Serviço de envio de mensagens Hermes e. Testando a conexão com Hermes por meio do gateway ADCv2 .
• A primeira parte desta página mostra como usar o consumidor de ETL para consumir mensagens. Para usar o consumidor de ETL, você precisa de um transformador robusto do conjunto de importação .
• A segunda parte desta página mostra como usar um consumidor de mapa de transformação para consumir mensagens. Para usar o Consumidor do mapa de transformação, você precisa de um mapa de transformação .

Procedimento

1. Crie um tópico para consumir ETL e transformar mensagens do consumidor do mapa.
   1. Use o comando a seguir para criar um tópico no Hermes.
      Neste exemplo, o nome do tópico é topic2.

      bin/kafka-topics.sh --create --command-config config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002, <instance name>.service-now.com:4003 --topic snc.<instance name>.topic2

      Substitua <instance name> com o nome da sua instância.
   2. Para exibir o tópico, faça login na instância e navegue até Tudo > IntegrationHub > Conexão de fluxo > Tópicos.
      Nota:

      Leva aproximadamente 10 minutos para criar um tópico.
2. Crie um consumidor de ETL para consumir dados do tópico.
   1. Navegar até Tudo > IntegrationHub > Consumidores > Consumidor de ETL.
   2. Selecione Novo.
   3. No formulário Consumidor do Kafka, insira um nome em Nome campo.
      Este exemplo usa o nome Importação de membro.
   4. Para Transformador robusto do conjunto de importação Arquivado, selecione um transformador robusto de conjunto de importação existente.
      Para o transformador de conjunto de importação robusto, selecione um que não esteja usando a opção para armazenar dados em uma única coluna. Para poder ver as mensagens, certifique-se de que o transformador robusto do conjunto de importação tenha Detalhado opção habilitada.
   5. Desmarque Dados em coluna única opção.
      Esta opção só deve ser selecionada para tabelas de conjunto de importação com dados em uma única coluna.
   6. Defina Mapeamento de coluna . Rótulo .

      Isso significa que as chaves JSON da mensagem de entrada são mapeadas para os rótulos de coluna da tabela Conjunto para importação.

      

   7. Salve o formulário.
   8. Crie um fluxo Kafka para o consumidor.
   9. No formulário Fluxo do Kafka, defina os seguintes valores de campo.
      • Nome . Fluxo de Topic2 .
      • Tópico para o tópico criado anteriormente, tópico 2.
      • Simultaneidade máxima . 1 .
      • Comece a consumir . Mensagens recebidas após a primeira ativação .
      • Tratamento de mensagens . Otimizar automaticamente .
   10. Selecione Ativar Link em Links relacionados.

       Você deve ser capaz de ver a assinatura ativada.

       

3. Publique mensagens no tópico 2.
   1. Execute o comando a seguir para publicar mensagens no tópico 2.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Substitua <instance name> com o nome da sua instância.

      Este comando solicita mensagens.

   2. Envie a seguinte mensagem JSON.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Você pode enviar esta mensagem com qualquer valor, mas a chave de mensagem JSON deve corresponder aos rótulos da tabela Conjunto para importação.
   3. Navegue de volta para o consumidor de ETL que você criou.

      Após cerca de um minuto, os dados devem ter sido importados por meio do conjunto de importação.

      

   4. Para exibir informações detalhadas sobre o conjunto de importação, selecione o número do conjunto de importação.

      

   5. Para exibir informações detalhadas sobre uma linha de conjunto de importação, selecione o número da linha do conjunto de importação.

      

4. Crie um Consumidor de mapa de transformação para consumir dados.
   1. Navegar até Tudo > IntegrationHub > Consumidores > Consumidor de mapa de transformação.
   2. Selecione Novo.
   3. No formulário Consumidor do mapa de transformação, insira um nome em Nome campo.
   4. Para Mapa de transformação selecione um mapa de transformação existente.

      

   5. Salve o formulário.
   6. Crie um fluxo Kafka para o consumidor.
   7. No formulário Fluxo do Kafka, defina os seguintes valores de campo.
      • Nome . Fluxo do mapa de transformação .
      • Tópico para o tópico criado anteriormente, tópico 2.
      • Simultaneidade máxima . 1 .
      • Comece a consumir . Mensagens recebidas após a primeira ativação .
      • Tratamento de mensagens . Otimizar automaticamente .
   8. Selecione Ativar Link em Links relacionados.

      Você deve ser capaz de ver a assinatura ativada.

      

5. Publique mensagens no tópico 2.
   1. Execute o comando a seguir para publicar mensagens no tópico 2.

      bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003

      Substitua <instance name> com o nome da sua instância.

      Este comando solicita mensagens.

   2. Envie a seguinte mensagem JSON.

      {"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}

      Você pode enviar esta mensagem com qualquer valor, mas a chave de mensagem JSON deve corresponder aos rótulos da tabela Conjunto para importação.
   3. Vá para o Consumidor do mapa de transformação que você criou.
      Após cerca de um minuto, os dados devem ter sido importados por meio do conjunto de importação.
   4. Para exibir informações detalhadas sobre o conjunto de importação, selecione o número do conjunto de importação conforme na etapa 3d acima.

O que Fazer Depois

Use a etapa do produtor Kafka e a API do ProducerV2 para publicar mensagens.