Configurar um consumidor de ETL (Extrair, Transformar e Carregar)

Importe e processe dados do ambiente Kafka usando as configurações existentes do Mecanismo de Transformação Robusta (RTE).

Antes de Iniciar

• Função necessária: integration_hub_admin
• Este consumidor requer uma assinatura Stream Connect. Para obter mais informações, consulte https://www.servicenow.com/now-platform/workflow-data-fabric.html.
• O plug-in ServiceNow Stream Connect Installer [com.glide.hub.stream_connect.installer] é necessário.
• Este consumidor requer um transformador robusto de conjunto de importação.

Por Que e Quando Desempenhar Esta Tarefa

Para configurar um consumidor, você precisa criar dois registros.

1. O registro do consumidor, que especifica como importar e processar dados.
2. Um registro para o fluxo do Kafka, que define o fluxo de dados para o consumidor.

Esta tarefa cobre a criação do consumidor. Para obter instruções sobre como criar um fluxo do Kafka, consulte Criar um fluxo do Kafka.

Procedimento

1. Navegar até Tudo > IntegrationHub > Consumidores > Consumidor de ETL.
2. Selecione Novo.
3. No formulário, preencha os campos.

   Tabela 1. Consumidor de ETL do Kafka

   Campo	Descrição
   Nome	Nome do consumidor de ETL.
   Transformador robusto do conjunto de importação	Nome do transformador robusto do conjunto de importação a ser usado para processar dados.
   Garantia de entrega	Se houver uma falha de nó, a opção para especificar a garantia de entrega para mensagens de entrada. Selecione uma das seguintes opções. Não há mensagens perdidas, mas duplicadas: todas as mensagens são entregues pelo menos uma vez. Algumas mensagens podem ser entregues mais de uma vez. Uma vez ou não: uma mensagem não é entregue mais de uma vez. Algumas mensagens podem não ser entregues.
   Formato de serialização	O formato de serialização da mensagem. Selecione uma das seguintes opções. Texto sem formatação: selecione esta opção para mensagens de texto sem formatação. Este é o formato padrão. Codificado: selecione esta opção para mensagens em um formato Apache Avro. A conversão de mensagens de texto sem formatação para um formato Avro requer um esquema. Selecione o registro de esquema no campo Registro de esquema. Para obter mais informações sobre esquemas, consulte Gestão de esquemas no Stream Connect.
   Dados em uma única coluna	Opção para que a tabela de conjunto de importação armazene dados em uma única coluna.
   Mapeamento de coluna	Opção para especificar se a chave JSON da mensagem mapeia os dados para o nome ou rótulo da coluna na tabela de conjunto de importação. Selecione uma das seguintes opções. Rótulo Nome da coluna Este campo aparece somente quando a caixa de seleção Dados em uma única coluna está desmarcada.
   Aplicação	Escopo da aplicação para o consumidor de ETL.
   Registro de esquema	Registro do esquema selecionado. Selecione uma das seguintes opções. Registro de esquema autônomo Registro de esquema confluente Este campo aparece somente quando o formato de serialização está definido como codificado. Para o Registro de Esquema Confluente, se o ID do esquema da mensagem recebida não estiver na tabela de esquema, o sistema importará o esquema dinamicamente, usando a conexão REST configurada.

4. Selecione Save (Salvar).

O que Fazer Depois

Criar um fluxo do Kafka para este consumidor. Depois que o fluxo for ativado, você poderá começar a receber mensagens do seu ambiente Kafka.