Crie um fluxo Kafka

Defina um fluxo de dados para um consumidor de ETL (Extract Transform Load, Carga de transformação de extração), Mapa de transformação ou Script. Um fluxo do Kafka define o fluxo de dados para seu consumidor.

Antes de Iniciar

• Função necessária: Integration_hub_admin
• Os fluxos do Kafka fazem parte do Stream Connect que requer um Stream Connect assinatura. Para obter mais informações, consulte https://www.servicenow.com/now-platform/workflow-data-fabric.html.

Por Que e Quando Desempenhar Esta Tarefa

Você deve criar um fluxo Kafka para usar um consumidor de ETL, Mapa de transformação ou Script. Depois de configurar um consumidor e criar e ativar um fluxo, você pode começar a receber mensagens do seu ambiente Kafka.

Procedimento

1. Abra o registro do consumidor ETL, Mapa de transformação ou Script.
   Para encontrar um registro de consumidor, navegue até Tudo > IntegrationHub > Consumidores e selecione Consumidor de ETL , Consumidor do mapa de transformação ou Consumidor de script .
2. Localize a seção Kafka Streams e selecione Novo .
3. No formulário, preencha os campos.

   Tabela 1. Fluxo do Kafka

   Campos	Descrição
   Nome	Nome do fluxo Kafka.
   Tópico	Nome do tópico a ser monitorado para mensagens.
   Simultaneidade máxima	Número máximo de processadores paralelos a serem usados para consumir mensagens e o número de grupos de partição a serem criados. Valor padrão: 1
   Peso relativo	Para cada ciclo, a quantidade máxima de tempo alocada ao consumidor para processar mensagens, em relação a outros consumidores. Por exemplo, um consumidor com um peso relativo duas vezes maior que o de outro consumidor recebe o dobro do tempo. Os consumidores que têm o mesmo peso relativo têm a mesma quantidade de tempo. O valor mínimo é 5. O valor máximo é 2000. O valor padrão é igual à simultaneidade máxima multiplicada pelo valor de glide.ih.kafka.consumer.max_seconds_per_partition_grouppropriedade. . glide.ih.kafka.consumer.max_seconds_per_partition_groupa propriedade especifica o tempo máximo, em segundos, alocado para cada grupo de partições. Seu valor padrão é 10. O sistema usa o peso relativo para calcular o tempo limite do grupo de partições para a assinatura. O tempo limite do grupo de partições especifica o tempo máximo, em milissegundos, alocado para cada grupo de partições em uma assinatura específica. Este campo aparece somente quando Avançado selecionado.
   Começar a consumir	Opção para especificar onde começar a consumir mensagens do tópico. Selecione uma das seguintes opções. Mensagens recebidas após a primeira ativação : Consome somente mensagens que o tópico recebeu depois que o fluxo foi ativado. Todas as mensagens armazenadas no tópico : Consome todas as mensagens no tópico, até mesmo as mensagens recebidas antes da ativação do fluxo.
   Manipulação de mensagens	Opção para especificar o número de mensagens processadas por execução ou permitir que o sistema decida o número de mensagens. Selecione uma das seguintes opções. Otimizar automaticamente : O sistema determina o número de mensagens a serem processadas por execução. Substituir manualmente : Você especifica o número de mensagens a serem processadas por execução. Este campo aparece somente quando Avançado selecionado.
   Máximo de mensagens	Número máximo de mensagens a serem processadas por execução. Este campo aparece somente quando Substituir manualmente selecionado de Tratamento de mensagens .
   Executar como	Opção para executar o consumidor com as credenciais de um usuário especificado.
   Cliente	O nome do consumidor para o qual transmitir dados. Este campo é definido automaticamente com o nome do consumidor a partir do qual você começou a adicionar o fluxo.
   Ativo	Opção para tornar o fluxo ativo.
   Avançado	Opção para exibir os campos avançados Peso relativo e. Tratamento de mensagens .

4. Em Links relacionados, selecione Ativar .
   Depois que o fluxo é ativado, o sistema cria automaticamente uma assinatura do Kafka para o consumidor associado.
5. Selecione Enviar.

Resultado

Quando você ativa o fluxo, o consumidor começa a procurar mensagens para processar no tópico especificado. Você pode exibir informações detalhadas sobre o consumidor e seu desempenho visitando sua página de assinatura. Para obter detalhes, consulte Exibição de assinaturas e estatísticas do Kafka.