Créer un flux Kafka

Définissez un flux de données pour un consommateur d’extraction, de chargement de transformation (ETL), de carte de transformation ou de script. Un flux Kafka définit le flux de données vers votre consommateur.

Avant de commencer

• Rôle requis : integration_hub_admin
• Les flux Kafka font partie de Connexion au flux ce qui nécessite un Connexion au flux abonnement. Pour plus d'informations, consultez https://www.servicenow.com/now-platform/workflow-data-fabric.html.

Pourquoi et quand exécuter cette tâche

Vous devez créer un flux Kafka pour utiliser un consommateur ETL, de carte de transformation ou de script. Après avoir configuré un consommateur, créé et activé un flux, vous pouvez commencer à recevoir des messages de votre environnement Kafka.

Procédure

1. Ouvrez l’enregistrement de votre consommateur ETL, de carte de transformation ou de script.
   Pour rechercher un enregistrement de consommateur, accédez à Tout > Centre d'intégration > Consommateurs et sélectionnez Consommateur ETL, Consommateur de carte de transformation ou Consommateur de script.
2. Localisez la section Flux Kafka et sélectionnez Nouveau.
3. Renseignez les champs du formulaire.

   Tableau 1. Flux Kafka

   Champs	Description
   Nom	Nom du flux Kafka.
   Rubrique	Nom de la rubrique à surveiller pour les messages.
   Concurrence max.	Nombre maximal de processeurs parallèles à utiliser pour utiliser des messages et nombre de groupes de partitions à créer. Valeur par défaut : 1
   Poids relatif	Pour chaque cycle, durée maximale allouée au consommateur pour le traitement des messages, par rapport à d’autres consommateurs. Par exemple, un consommateur dont le poids relatif est deux fois plus élevé que celui d’un autre consommateur dispose de deux fois plus de temps. Les consommateurs qui ont le même poids relatif disposent du même délai. La valeur minimale est 5. La valeur maximale est 2000. La valeur par défaut est égale à la concurrence max. multipliée par la valeur de la glide.ih.kafka.consumer.max_seconds_per_partition_group propriété. La glide.ih.kafka.consumer.max_seconds_per_partition_group propriété spécifie la durée maximale, en secondes, allouée à chaque groupe de partitions. Sa valeur par défaut est 10. Le système utilise le poids relatif pour calculer le délai d’expiration du groupe de partitions pour l’abonnement. Le délai d’expiration du groupe de partitions spécifie la durée maximale, en millisecondes, allouée à chaque groupe de partitions dans un abonnement spécifique. Ce champ s’affiche uniquement lorsque l’option Avancé est sélectionnée.
   Commencer la consommation	Option permettant de spécifier où commencer à consommer les messages de la rubrique. Sélectionnez l'une des options suivantes : Messages reçus après la première activation : consomme uniquement les messages que la rubrique a reçus après l’activation du flux. Tous les messages stockés dans la rubrique : consomme tous les messages de la rubrique, même les messages reçus avant l’activation du flux.
   Gestion de message	Option permettant de spécifier le nombre de messages traités par exécution ou de laisser le système décider du nombre de messages. Sélectionnez l'une des options suivantes : Optimiser automatiquement : le système détermine le nombre de messages à traiter par exécution. Remplacer manuellement : vous spécifiez le nombre de messages à traiter par exécution. Ce champ s’affiche uniquement lorsque l’option Avancé est sélectionnée.
   Nombre maximal de messages	Nombre maximal de messages à traiter par exécution. Ce champ n’apparaît que lorsque l’option Remplacer manuellement est sélectionnée dans Gestion des messages.
   Exécuter en tant que	Option permettant d’exécuter le consommateur avec les informations d’identification d’un utilisateur spécifié.
   Consommateur ETL Kafka	Nom du consommateur vers lequel diffuser les données. Ce champ est automatiquement défini sur le nom du consommateur à partir duquel vous avez commencé à ajouter le flux.
   Actif	Option pour rendre le flux actif.
   Avancés	Option permettant d’afficher les champs avancés Poids relatif et Gestion des messages.

4. Sous Liens connexes, sélectionnez Activer.
   Une fois le flux activé, le système crée automatiquement un abonnement Kafka pour le consommateur associé.
5. Sélectionnez Soumettre.

Résultats

Lorsque vous activez le flux, le consommateur commence à rechercher des messages à traiter dans la rubrique spécifiée. Vous pouvez afficher des informations détaillées sur le consommateur et ses performances en visitant sa page d’abonnement. Pour plus de détails, voir Affichage des abonnements et des statistiques Kafka.