Criar um fluxo do Kafka

Defina um fluxo de dados para uma carga de transformação de extração (ETL), mapa de transformação ou consumidor de script. Um fluxo do Kafka define o fluxo de dados para o consumidor.

Antes de Iniciar

• Função necessária: integration_hub_admin
• Os fluxos do Kafka fazem parte de Stream Connect, que requer uma assinatura Stream Connect. Para obter mais informações, consulte https://www.servicenow.com/now-platform/workflow-data-fabric.html.

Por Que e Quando Desempenhar Esta Tarefa

Você deve criar um fluxo do Kafka para usar um ETL, mapa de transformação ou consumidor de script. Depois de configurar um consumidor e criar e ativar um fluxo, você pode começar a receber mensagens do seu ambiente Kafka.

Procedimento

1. Abra o registro do ETL, mapa de transformação ou consumidor de script.
   Para localizar um registro de consumidor, navegue até Tudo > IntegrationHub > Consumidores e selecione Consumidor de ETL, Consumidor de mapa de transformaçãoou Consumidor de script.
2. Localize a seção Fluxos do Kafka e selecione Novo.
3. No formulário, preencha os campos.

   Tabela 1. Fluxo do Kafka

   Campos	Descrição
   Nome	Nome do fluxo do Kafka.
   Tópico	Nome do tópico a ser monitorado para mensagens.
   Simultaneidade máxima	Número máximo de processadores paralelos a serem usados para consumir mensagens e o número de grupos de partição a serem criados. Valor padrão: 1
   Peso relativo	Para cada ciclo, a quantidade máxima de tempo alocada ao consumidor para processar mensagens, em relação a outros consumidores. Por exemplo, um consumidor com um peso relativo que é o dobro do de outro consumidor recebe o dobro de tempo. Consumidores que têm o mesmo peso relativo obtêm a mesma quantidade de tempo. O valor mínimo é 5. O valor máximo é 2000. O valor padrão é igual à simultaneidade máxima multiplicada pelo valor da propriedade glide.ih.kafka.consumer.max_seconds_per_partition_group. A propriedade glide.ih.kafka.consumer.max_seconds_per_partition_group especifica o tempo máximo, em segundos, alocado para cada grupo de partição. Seu valor padrão é 10. O sistema usa o peso relativo para calcular o tempo limite do grupo de partição para a assinatura. O tempo limite do grupo de partição especifica o tempo máximo, em milissegundos, alocado para cada grupo de partição em uma assinatura específica. Este campo aparece somente quando Avançado está selecionado.
   Começar a consumir	Opção para especificar onde começar a consumir mensagens do tópico. Selecione uma das seguintes opções. Mensagens recebidas após a primeira ativação: consome somente mensagens que o tópico recebeu depois que o fluxo foi ativado. Todas as mensagens armazenadas no tópico: consome todas as mensagens no tópico, até mesmo as mensagens recebidas antes de o fluxo ser ativado.
   Manipulação de mensagens	Opção para especificar o número de mensagens processadas por execução ou permitir que o sistema decida o número de mensagens. Selecione uma das seguintes opções. Otimização automática: o sistema determina o número de mensagens a serem processadas por execução. Substituir manualmente: você especifica o número de mensagens a serem processadas por execução. Este campo aparece somente quando Avançado está selecionado.
   Máximo de mensagens	Número máximo de mensagens a serem processadas por execução. Este campo aparece somente quando Substituir manualmente é selecionado em Manipulação de mensagens.
   Executar como	Opção para executar o consumidor com as credenciais de um usuário especificado.
   Consumidor de ETL do Kafka	O nome do consumidor para o qual os dados serão transmitidos. Este campo é definido automaticamente com o nome do consumidor a partir do qual você começou a adicionar o fluxo.
   Ativo	Opção para tornar o fluxo ativo.
   Avançado	Opção para exibir os campos avançados Peso relativo e Manipulação de mensagens.

4. Em Links relacionados, selecione Ativar.
   Depois que o fluxo é ativado, o sistema cria automaticamente uma assinatura do Kafka para o consumidor associado.
5. Selecione Enviar.

Resultado

Quando você ativa o fluxo, o consumidor começa a procurar mensagens para processar no tópico especificado. Você pode exibir informações detalhadas sobre o consumidor e seu desempenho visitando a página de assinatura. Para obter detalhes, consulte Exibição de assinaturas e estatísticas do Kafka.