Créer un flux Kafka

Définissez un flux de données pour un consommateur d’extraction, de transformation (ETL), de carte de transformation ou de script. Un flux Kafka définit le flux de données vers votre consommateur.

Avant de commencer

• Rôle requis : integration_hub_admin
• Les flux Kafka font partie desquels un abonnement est Connexion au flux requisConnexion au flux. Pour plus d'informations, consultez https://www.servicenow.com/products/automation-engine.html.

Pourquoi et quand exécuter cette tâche

Vous devez créer un flux Kafka pour utiliser un consommateur ETL, Carte de transformation ou Script. Après avoir configuré un consommateur, et créé et activé un flux, vous pouvez commencer à recevoir des messages de votre environnement Kafka.

Procédure

1. Ouvrez l’enregistrement de votre consommateur ETL, carte de transformation ou script.
   Pour rechercher un enregistrement de consommateur, accédez à Tout > Centre d'intégration > Consommateurs et sélectionnez Consommateur ETL, Consommateur de carte de transformation ou Consommateur de script.
2. Localisez la section Flux Kafka et sélectionnez Nouveau.
3. Renseignez les champs du formulaire.

   Tableau 1. Flux Kafka

   Champs	Description
   Nom	Nom du flux Kafka.
   Rubrique	Nom de la rubrique dont les messages doivent être surveillés.
   Concurrence max.	Nombre maximal de processeurs parallèles à utiliser pour consommer des messages et nombre de groupes de partitions à créer. Valeur par défaut : 1
   Poids relatif	Pour chaque cycle, la durée maximale allouée au consommateur pour le traitement des messages, par rapport aux autres consommateurs. Par exemple, un consommateur dont le poids relatif est deux fois plus élevé que celui d’un autre consommateur dispose de deux fois plus de temps. Les consommateurs qui ont le même poids relatif disposent du même temps. La valeur minimale est 5. La valeur maximale est 2000. La valeur par défaut est égale à la concurrence maximale multipliée par la valeur de la glide.ih.kafka.consumer.max_seconds_per_partition_group propriété. La glide.ih.kafka.consumer.max_seconds_per_partition_group propriété spécifie le temps maximal, en secondes, alloué à chaque groupe de partitions. Sa valeur par défaut est 10. Le système utilise le poids relatif pour calculer le délai d’expiration du groupe de partitions pour l’abonnement. Le délai d’expiration du groupe de partitions spécifie la durée maximale, en millisecondes, allouée à chaque groupe de partitions dans un abonnement spécifique. Ce champ n’apparaît que lorsque l’option Avancé est sélectionnée.
   Commencer la consommation	Option permettant de spécifier où commencer la consommation des messages de la rubrique. Sélectionnez l'une des options suivantes : Messages reçus après la première activation : consomme uniquement les messages que la rubrique a reçus après l’activation du flux. Tous les messages stockés dans la rubrique : consomme tous les messages de la rubrique, même les messages reçus avant l’activation du flux.
   Gestion de message	Option permettant de spécifier le nombre de messages traités par exécution ou de laisser le système décider du nombre de messages. Sélectionnez l'une des options suivantes : Optimiser automatiquement : le système détermine le nombre de messages à traiter par exécution. Remplacer manuellement : vous spécifiez le nombre de messages à traiter par exécution. Ce champ n’apparaît que lorsque l’option Avancé est sélectionnée.
   Nombre maximal de messages	Nombre maximal de messages à traiter par exécution. Ce champ s’affiche uniquement lorsque l’option Remplacer manuellement est sélectionnée dans Gestion des messages.
   Exécuter en tant que	Option permettant d’exécuter le consommateur avec les informations d’identification d’un utilisateur spécifié.
   Consommateur ETL Kafka	Nom du consommateur auquel diffuser les données. Ce champ est automatiquement défini sur le nom du consommateur à partir duquel vous avez commencé à ajouter le flux.
   Actif	Option permettant d’activer le flux.
   Avancés	Option permettant d’afficher les champs avancés Poids relatif et Gestion des messages.

4. Sous Liens connexes, sélectionnez Activer.
   Une fois le flux activé, le système crée automatiquement un abonnement Kafka pour le consommateur associé.
5. Sélectionnez Soumettre.

Résultats

Lorsque vous activez le flux, le consommateur commence à rechercher des messages à traiter dans la rubrique spécifiée. Vous pouvez afficher des informations détaillées sur le consommateur et ses performances en visitant sa page d’abonnement. Pour plus de détails, voir Affichage des abonnements et des statistiques Kafka.