Créer un flux Kafka

Définissez un flux de données pour un chargement de transformation d’extraction (ETL), une carte de transformation ou un consommateur de script. Un flux Kafka définit le flux de données vers votre consommateur.

Avant de commencer

• Rôle requis : integration_hub_admin
• Les flux Kafka en font partie Connexion au flux pour Apache Kafka qui nécessitent un Connexion au flux pour Apache Kafka abonnement. Pour plus d'informations, consultez https://www.servicenow.com/products/automation-engine.html.

Pourquoi et quand exécuter cette tâche

Vous devez créer un flux Kafka pour utiliser un ETL, une carte de transformation ou un consommateur de script. Après avoir configuré un consommateur et créé et activé un flux, vous pouvez commencer à recevoir des messages de votre environnement Kafka.

Procédure

1. Ouvrez l’enregistrement de votre ETL, carte de transformation ou consommateur de script.
   Pour rechercher un enregistrement de consommateur, accédez à Tout > Centre d'intégration > Consommateurs et sélectionnez Consommateur ETL, Consommateur de carte de transformation ou Consommateur de script.
2. Localisez la section Flux Kafka et sélectionnez Nouveau.
3. Renseignez les champs du formulaire.

   Tableau 1. Flux Kafka

   Champs	Description
   Nom	Nom du flux Kafka.
   Sujet	Nom de la rubrique dont les messages doivent être surveillés.
   Concurrence max.	Nombre maximal de processeurs parallèles à utiliser pour consommer des messages et nombre de groupes de partitions à créer. Valeur par défaut : 1
   Poids relatif	Pour chaque cycle, la durée maximale allouée au consommateur pour le traitement des messages, par rapport aux autres consommateurs. Par exemple, un consommateur dont le poids relatif est deux fois plus élevé que celui d’un autre consommateur dispose de deux fois plus de temps. Les consommateurs qui ont le même poids relatif disposent du même temps. La valeur minimale est 5. La valeur maximale est 2 000. La valeur par défaut est égale à la concurrence maximale multipliée par la valeur de la glide.ih.kafka.consumer.max_seconds_per_partition_group propriété. La glide.ih.kafka.consumer.max_seconds_per_partition_group propriété spécifie la durée maximale, en secondes, allouée à chaque groupe de partitions. Sa valeur par défaut est 10. Le système utilise le poids relatif pour calculer le délai d’expiration du groupe de partitions pour l’abonnement. Le délai d’expiration du groupe de partitions spécifie la durée maximale, en millisecondes, allouée à chaque groupe de partition dans un abonnement spécifique. Ce champ s’affiche uniquement lorsque l’option Avancé est sélectionnée.
   Commencer à consommer	Option permettant de spécifier par où commencer à consommer les messages à partir de la rubrique. Sélectionnez l'une des options suivantes : Messages reçus après la première activation : consomme uniquement les messages reçus par la rubrique après l’activation du flux. Tous les messages stockés dans la rubrique : consomme tous les messages de la rubrique, même les messages reçus avant l’activation du flux.
   Gestion des messages	Option permettant de spécifier le nombre de messages traités par exécution ou de laisser le système décider du nombre de messages. Sélectionnez l'une des options suivantes : Optimiser automatiquement : le système détermine le nombre de messages à traiter par exécution. Remplacement manuel : spécifiez le nombre de messages à traiter par exécution. Ce champ s’affiche uniquement lorsque l’option Avancé est sélectionnée.
   Nombre maximal de messages	Nombre maximal de messages à traiter par exécution. Ce champ s’affiche uniquement lorsque l’option Remplacement manuel est sélectionnée dans Gestion des messages.
   Exécuter en tant que	Option permettant d’exécuter le consommateur avec les informations d’identification d’un utilisateur spécifié.
   Consommateur ETL Kafka	Nom du consommateur auquel diffuser les données. Ce champ est automatiquement défini sur le nom du consommateur à partir duquel vous avez commencé à ajouter le flux.
   Actif	Option permettant d’activer le flux.
   Avancé	Option permettant d’afficher les champs avancés Poids relatif et Gestion des messages.

4. Sous Liens connexes, sélectionnez Activer.
   Une fois le flux activé, le système crée automatiquement un abonnement Kafka pour le consommateur associé.
5. Sélectionnez Soumettre.

Résultats

Lorsque vous activez le flux, le consommateur commence à chercher des messages à traiter dans la rubrique spécifiée. Vous pouvez consulter des informations détaillées sur le consommateur et ses performances en visitant sa page d’abonnement. Pour plus de détails, voir Affichage des abonnements et des statistiques Kafka.