Crie um fluxo Kafka

Defina um fluxo de dados para um consumidor de carga de transformação de extração (ETL), mapa de transformação ou script. Um fluxo Kafka define o fluxo de dados para o seu consumidor.

Antes de Iniciar

• Função necessária: Integration_hub_admin
• Os fluxos do Kafka fazem parte Stream Connectque requer um Stream Connectassinatura. Para obter mais informações, consulte https://www.servicenow.com/now-platform/workflow-data-fabric.html.

Por Que e Quando Desempenhar Esta Tarefa

Você deve criar um fluxo Kafka para usar um consumidor de ETL, Mapa de transformação ou Script. Depois de configurar um consumidor e criar e ativar um fluxo, você pode começar a receber mensagens do seu ambiente Kafka.

Procedimento

1. Abra o registro do consumidor de ETL, Mapa de transformação ou script.
   Para encontrar um registro de consumidor, navegue até Tudo > IntegrationHub > clientees e selecione Consumidor de ETL , Consumidor do mapa de transformação , ou Consumidor de script .
2. Localize a seção Kafka Streams e selecione Novo .
3. No formulário, preencha os campos.

   Tabela 1. Fluxo do Kafka

   Campos	Descrição
   Nome	Nome do fluxo Kafka.
   Tópico	Nome do tópico a ser monitorado para mensagens.
   Simultaneidade máxima	Número máximo de processadores paralelos a serem usados para consumir mensagens e o número de grupos de partição a serem criados. Valor padrão: 1
   Peso relativo	Para cada ciclo, a quantidade máxima de tempo alocada ao consumidor para processar mensagens, em relação a outros consumidores. Por exemplo, um consumidor com um peso relativo duas vezes maior que o de outro consumidor recebe o dobro do tempo. Os consumidores que têm o mesmo peso relativo recebem a mesma quantidade de tempo. O valor mínimo é 5. O valor máximo é 2000. O valor padrão é igual à simultaneidade máxima multiplicada pelo valor de glide.ih.kafka.consumer.max_seconds_per_partition_grouppropriedade. . glide.ih.kafka.consumer.max_seconds_per_partition_groupa propriedade especifica o tempo máximo, em segundos, alocado para cada grupo de partições. Seu valor padrão é 10. O sistema usa o peso relativo para calcular o tempo limite do grupo de partições para a assinatura. O tempo limite do grupo de partições especifica o tempo máximo, em milissegundos, alocado a cada grupo de partições em uma assinatura específica. Este campo aparece somente quando Avançado está selecionado.
   Começar a consumir	Opção para especificar onde começar a consumir mensagens do tópico. Selecione uma das seguintes opções. Mensagens recebidas após a primeira ativação : Consome somente mensagens que o tópico recebeu depois que o fluxo foi ativado. Todas as mensagens armazenadas no tópico : Consome todas as mensagens no tópico, mesmo as mensagens recebidas antes da ativação do fluxo.
   Manipulação de mensagens	Opção para especificar o número de mensagens processadas por execução ou permitir que o sistema decida o número de mensagens. Selecione uma das seguintes opções. Otimizar automaticamente : O sistema determina o número de mensagens a serem processadas por execução. Substituir manualmente : Você especifica o número de mensagens a serem processadas por execução. Este campo aparece somente quando Avançado está selecionado.
   Máximo de mensagens	Número máximo de mensagens a serem processadas por execução. Este campo aparece somente quando Substituir manualmente selecionado de Tratamento de mensagens .
   Executar como	Opção para executar o consumidor com as credenciais de um usuário especificado.
   Kafka ETL consumidor	O nome do consumidor para o qual transmitir dados. Este campo é definido automaticamente com o nome do consumidor a partir do qual você começou a adicionar o fluxo.
   Ativo	Opção para tornar o fluxo ativo.
   Avançado	Opção para exibir os campos avançados Peso relativo e. Tratamento de mensagens .

4. Em Links relacionados, selecione Ativar .
   Depois que o fluxo é ativado, o sistema cria automaticamente uma assinatura do Kafka para o consumidor associado.
5. Selecione Enviar.

Resultado

Quando você ativa o fluxo, o consumidor começa a procurar mensagens para processar no tópico especificado. Você pode exibir informações detalhadas sobre o consumidor e seu desempenho visitando a página de assinatura. Para obter detalhes, consulte Exibindo assinaturas e estatísticas do Kafka.