Configurer un consommateur ETL (Extract Transform Load)

Importez et traitez les données de votre environnement Kafka à l’aide de vos configurations RTE (Robust Transform Engine) existantes.

Avant de commencer

• Rôle requis : integration_hub_admin
• Ce consommateur a besoin d’un Connexion au flux abonnement. Pour plus d'informations, consultez https://www.servicenow.com/now-platform/workflow-data-fabric.html.
• Le ServiceNow module d’extension Programme d’installation de Connexion au flux [com.glide.hub.stream_connect.installer] est requis.
• Ce consommateur nécessite un transformateur d’ensemble de données à importer robuste.

Pourquoi et quand exécuter cette tâche

Pour configurer un consommateur, vous devez créer deux enregistrements.

1. Enregistrement consommateur, qui spécifie le mode d’importation et de traitement des données.
2. Un enregistrement pour le flux Kafka, qui définit le flux de données vers votre consommateur.

Cette tâche couvre la création du consommateur. Pour obtenir des instructions sur la création d’un flux Kafka, reportez-vous à la section Créer un flux Kafka.

Procédure

1. Accédez à la Tous > Centre d'intégration > Consommateurs > Consommateur ETL.
2. Sélectionnez Nouveau.
3. Renseignez les champs du formulaire.

   Tableau 1. Consommateur ETL Kafka

   Champ	Description
   Nom	Nom du consommateur ETL.
   Transformateur robuste des ensembles de données à importer	Nom du transformateur d’ensemble d’importation robuste à utiliser pour traiter les données.
   Garantie de livraison	En cas de défaillance d’un nœud, option permettant de spécifier la garantie de remise des messages entrants. Sélectionnez l'une des options suivantes : Pas de pertes, mais des doublons : tous les messages sont remis au moins une fois. Certains messages peuvent être remis plusieurs fois. Une fois ou pas du tout : un message n’est pas remis plus d’une fois. Certains messages peuvent ne pas être remis du tout.
   Format de sérialisation	Format de sérialisation du message. Sélectionnez l'une des options suivantes : Texte brut : sélectionnez cette option pour tous les messages en texte brut. Il s’agit du format par défaut. Encodé : sélectionnez cette option pour les Apache messages au format Avro. La conversion de messages en texte brut au format Avro nécessite un schéma. Sélectionnez le registre de schémas dans le champ Registre de schémas . Pour plus d’informations sur les schémas, reportez-vous à la section Gestion des schémas dans Connexion au flux.
   Données dans une colonne unique	Option permettant à la table de jeux d’importation de stocker les données dans une seule colonne.
   Mappage de colonnes	Option permettant de spécifier si la clé JSON du message mappe les données au nom ou à l’étiquette de la colonne dans la table d’ensembles de données à importer. Sélectionnez l'une des options suivantes : Étiquette Nom de colonne Ce champ s’affiche uniquement lorsque la case Données dans une seule colonne est décochée.
   Application	Périmètre de l’application pour le consommateur ETL.
   Registre de schémas	Registre pour le schéma sélectionné. Sélectionnez l'une des options suivantes : Registre de schémas autonome Registre de schéma Confluent Ce champ apparaît uniquement lorsque le format de sérialisation est défini sur Codé. Pour le registre de schémas Confluent, si l’ID de schéma du message reçu ne figure pas dans la table de schémas, le système importe le schéma de manière dynamique, à l’aide de la connexion REST configurée.

4. Sélectionnez Enregistrer.

Que faire ensuite

Créer un flux Kafka pour ce consommateur. Une fois le flux activé, vous pouvez commencer à recevoir des messages de votre environnement Kafka.