Créer un collecteur de métadonnées dans le cloud DBT

Créez un collecteur pour importer les métadonnées à partir de dbt Cloud.

Avant de commencer

Avant de commencer, vérifiez les points suivants :

• Un serveur MID est configuré pour les modules de collection. Pour plus d'informations, consultez Serveur MID pour les collecteurs de métadonnées.
• Toutes les tâches requises sont terminées. Pour plus d'informations, consultez Préparer l’exécution du collecteur dans le cloud DBT.
• Rôle requis : connection-admin

Procédure

1. Accédez à la Tous > Structure de données de workflow > Accueil Workflow Data Fabric.
2. Sélectionnez l’icône du dans la barre latérale gauche.
3. Sélectionner Créer > Collecteur de métadonnées.
4. Dans la liste Système, sélectionnez dbt Cloud.
5. Remplissez les champs du formulaire.

   Tableau 1. Nouveau formulaire du collecteur de métadonnées dans le cloud dbt

   Champ	Description
   Nom de la connexion	Identificateur unique pour la connexion. Ce champ n’est pas modifiable une fois la connexion établie.
   Description brève	Objet et détails de la connexion.

6. Saisissez les détails de la configuration dbt Cloud.

   Tableau 2. Détails de la configuration

   Champ	Description
   Clé API dbt Cloud	Une clé API émise par dbt cloud avec des autorisations d’accès au compte spécifié.
   dbt Hôte dans le cloud	Hôte associé au compte de votre organisation sur le cloud dbt. Si aucune option n’est spécifiée, l’hôte par défaut est supposé cloud.getdbt.com.
   ID de compte dans le cloud DBT	Compte dans le cloud dbt qui possède le projet à partir duquel collecter les artefacts de métadonnées dbt.
   Projet cloud DBT	Nom ou identificateur numérique du projet à partir duquel collecter les artefacts de métadonnées DBT.
   ID d’exécution du cloud DBT	Identificateur numérique de l’exécution qui a produit les artefacts à récolter. Si cette option n’est pas spécifiée, la dernière exécution réussie qui a produit des artefacts au sein du projet est collectée.
   dbt Environnement cloud	Environnement cloud dbt (ID ou nom) utilisé pour filtrer les exécutions de tâches à partir desquelles collecter les artefacts de métadonnées dbt.
   Tâche dans le cloud dbt	La tâche dbt Cloud (ID ou nom) utilisée pour filtrer les exécutions de tâche à partir desquelles collecter les artefacts de métadonnées dbt.

7. Entrez les détails de la base de données cible.
   Remarque :

   Vous devez définir la base de données cible sur les remplacements Snowflake pour collecter les relations de traçabilité Snowflake entre les colonnes spécifiées via les vues.

   Tableau 3. Détails de la base de données cible

   Champ	Description
   Base de données cible	Option permettant de remplacer les informations de connexion à la base de données configurées sur le projet dans le cloud dbt Aucun remplacement de base de données cible : permet au collecteur d’ignorer la connexion à un entrepôt de données et de collecter uniquement les actifs DBT. Aucune traçabilité n’est disponible pour les vues Remplacements de Snowflake : sélectionner pour récolter les relations de traçabilité Snowflake entre les colonnes spécifiées via les vues
   Authentification (remplacements Snowflake)
   Authentification	Méthode d’authentification à utiliser si les remplacements Snowflake sont sélectionnés Aucun remplacement d’authentification Snowflake Remplacements des noms d’utilisateur et des mots de passe Snowflake Remplacements des fichiers de clés privées Snowflake Remarque : Si vous sélectionnez des remplacements Snowflake et ne fournissez aucun détail d’authentification, le collecteur obtient les informations de connexion (compte Snowflake, rôle et entrepôt) à partir de l’exécution dbt Cloud identifiée.
   Remplacements des noms d’utilisateur et des mots de passe Snowflake
   Nom d’utilisateur de base de données	Informations d’identification de l’utilisateur à utiliser pour la connexion à la base de données cible
   Mot de passe de la base de données	Informations d’identification du mot de passe à utiliser pour la connexion à la base de données cible
   Remplacements des fichiers de clés privées Snowflake
   Nom d’utilisateur de base de données	Nom d’utilisateur à utiliser pour la connexion à la base de données cible
   Chemin d’accès au fichier clé Snowflake	Fichier de clé privée à utiliser pour l’authentification avec Snowflake (par exemple rsa_key.p8). Utilisez cette option pour remplacer le profil DBT
   Mot de passe du fichier de clé Snowflake	Mot de passe du fichier de clé privée si la clé est chiffrée et qu’un mot de passe a été défini. Utilisez cette option pour remplacer le profil DBT ou la configuration du cloud
   Autres paramètres facultatifs
   Application Snowflake	Paramètre de connexion de l’application à utiliser pour se connecter à la base de données Snowflake cible. Utilisez cette option pour remplacer le profil DBT ou la configuration du cloud Par défaut : datadotworld
   Compte Snowflake	Compte ou locataire Snowflake
   Rôle Snowflake	Rôle à utiliser pour la connexion à la base de données Snowflake cible. Utilisez cette option pour remplacer le profil DBT ou la configuration du cloud. Ce champ n’est pas sensible à la casse
   Entrepôt Snowflake	Entrepôt à utiliser pour la connexion à la base de données Snowflake cible. Utilisez cette option pour remplacer le profil DBT ou la configuration du cloud. Ce champ n’est pas sensible à la casse

8. Entrez les options avancées.

   Tableau 4. Options avancées

   Champ	Description
   Nombre max. d'essais	Nombre de fois que le système retente un appel d’API ayant échoué. Par défaut : 5
   Délai de nouvelle tentative	Nombre de secondes à attendre entre les tentatives pour un appel d’API ayant échoué. Par défaut : 2 secondes
   En-tête HTTP de l’API	Paires nom-valeur incluses comme en-têtes HTTP dans les appels d’API effectués par le collecteur. Ajoutez une valeur par ligne pour spécifier plusieurs en-têtes.
   Propriétés du pilote JDBC	Propriétés du pilote JDBC à transmettre à la connexion du pilote. Spécifiez plusieurs propriétés de pilote JDBC en ajoutant une valeur par ligne. Si vous utilisez l’authentification NTLM, vous devez définir deux propriétés JDBC comme suit : integratedSecurity=vrai authenticationScheme=NTLM

9. Sélectionnez Enregistrer.

Résultats

Le collecteur de métadonnées est créé et apparaît sur la page Connecteurs avec un état Configuré. Il est maintenant prêt à se connecter au système source et à récolter des métadonnées.

Que faire ensuite

Après avoir créé le collecteur, vous pouvez effectuer l’une des tâches suivantes :

• Exécutez le collecteur manuellement pour collecter immédiatement les métadonnées. Consultez Exécuter manuellement les collecteurs de métadonnées.
• Automatisez la collecte de métadonnées en planifiant des exécutions régulières du collecteur. Consultez Planifier les exécutions du collecteur de métadonnées.
• Surveillez l’état d’exécution et résolvez les problèmes en consultant les journaux d’exécution. Consultez Afficher les journaux d’exécution pour les exécutions des collecteurs.
• Découvrez et évaluez les ressources de données collectées dans le catalogue de données. Consultez Régir le Catalogue de données.