Créer un collecteur de métadonnées Snowflake

Créez un collecteur pour importer des métadonnées à partir de Snowflake.

Avant de commencer

Avant de commencer, vérifiez les points suivants :

• Un serveur MID est configuré pour les modules de collection. Pour plus d'informations, consultez Serveur MID pour les collecteurs de métadonnées.
• Toutes les tâches requises sont terminées. Pour plus d'informations, consultez Préparer l’exécution du collecteur Snowflake.
• Rôle requis : connection-admin

Procédure

1. Accédez à la Tous > Structure de données de workflow > Accueil Workflow Data Fabric.
2. Sélectionnez l’icône du dans la barre latérale gauche.
3. Sélectionner Créer > Collecteur de métadonnées.
4. Dans la liste Système, sélectionnez Snowflake.
5. Complétez le formulaire.

   Tableau 1. Nouveau formulaire du collecteur de métadonnées Snowflake

   Champ	Description
   Nom de la connexion	Identificateur unique pour la connexion. Ce champ n’est pas modifiable une fois la connexion établie.
   Description brève	Objet et détails de la connexion.

6. Configurez les options d’authentification.

   Tableau 2. Options d'authentification

   Champ	Description
   Authentifier à l’aide d’un nom d’utilisateur et d’un mot de passe
   Nom d'utilisateur	Nom d’utilisateur à utiliser pour établir la connexion JDBC.
   Mot de passe	Mot de passe de l’utilisateur.
   Authentifier à l’aide d’une clé privée
   Nom d'utilisateur	Nom d’utilisateur à utiliser pour établir la connexion JDBC.
   Fichier de clé privée Snowflake	Téléchargez le fichier de clé privée à utiliser pour l’authentification.
   Mot de passe du fichier de clé privée	Mot de passe du fichier de clé privée, si la clé est chiffrée et qu’un mot de passe est défini.

7. Sélectionnez Collecter tous les schémas et Spécifier le schéma à collecter.

   Tableau 3. Options de collecte de schémas

   Champ	Description
   Collecter tous les schémas
   Collecter tous les schémas	Cataloguer tous les schémas auxquels l’utilisateur a accès.
   Exclure le schéma	Nom ou expression régulière du schéma de base de données à exclure.
   Inclure le schéma d’informations	Inclure le schéma d’informations de la base de données dans la collection de catalogue.
   Spécifier le schéma à collecter
   Spécifier le schéma à collecter	Cataloguez uniquement les schémas spécifiés.
   Schéma	Nom du schéma de base de données à cataloguer.

8. Saisissez les détails de connexion Snowflake.

   Tableau 4. Détails de la connexion

   Champ	Description
   Serveur	Nom d’hôte du serveur de base de données auquel se connecter.
   Port de serveur	Port du serveur de base de données (s’il ne s’agit pas du port par défaut).
   Base de données	Nom de la base de données à laquelle se connecter. Spécifiez plusieurs bases de données en ajoutant une valeur par ligne.
   Rôle Snowflake	Rôle utilisé pour exécuter la requête.
   Base de données exclue	Nom ou expression régulière indiquant les bases de données à ne pas cataloguer lorsque le champ Base de données est vide. Remarque : Ce paramètre est ignoré si le champ Base de données est spécifié.

9. Configurez les statistiques et les options d’échantillonnage.

   Tableau 5. Champ d’application de la collecte et options de traçabilité

   Champ	Description
   Collecter des informations sur la fonction de mesure des données	Option permettant de collecter des métadonnées sur les fonctions de mesure de données et leurs associations à des tables.
   Nombre d’observations de mesure de données	Nombre d’observations de mesures de données les plus récentes à récolter. Ignoré sauf si l’option Collecter des informations sur la fonction de mesure des données est activée. Par défaut : 1
   Activer la collecte des statistiques de colonne	Option pour collecter des statistiques de colonne, c’est-à-dire du profilage des données. Remarque : L’activation de cette option peut prolonger la durée d’exécution du module de collection, car le collecteur lit les données de table pour collecter les métadonnées de profilage.
   Taille d’échantillon cible pour les statistiques de colonne	Nombre de lignes échantillonnées pour le calcul des statistiques de colonne et des histogrammes chaîne-valeur. Par exemple, pour échantillonner 1 000 lignes, définissez la valeur sur 1 000. Par défaut : 100 000 Remarque : S’applique uniquement si l’option Activer la collecte de statistiques de colonne est activée.
   Collecter les informations d’utilisation de la table Snowflake	Option permettant de collecter des métadonnées sur l’utilisation des tables Snowflake dans les requêtes, y compris la popularité. Pour chaque table de la base de données, calcule le pourcentage de tables interrogées au moins de fois que la table de sujet.
   Jours de vérification de l’utilisation de la table	Nombre de jours passés à partir desquels commencer à collecter l’utilisation de la table. Par défaut : 7 jours
   Désactiver la collecte de traçabilité	Option permettant d’ignorer la collecte des métadonnées de traçabilité au sein de la base de données.
   Désactiver la collecte de métadonnées étendue	Option permettant d’ignorer la collecte des métadonnées étendues pour les types d’actifs de données tels que base de données, schéma, table, colonnes, fonctions, procédures stockées, types définis par l’utilisateur et synonymes. Les métadonnées de base pour ces types d’actifs de données sont toujours collectées.

10. Configurez les options de périmètre et de limites de collecte.

    Tableau 6. Options relatives au champ d’application et aux limites de la collecte

    Champ	Description
    Collecter des informations sur la balise Snowflake	Option permettant de collecter des métadonnées sur les balises Snowflake dans ou associées à la base de données spécifiée dans le paramètre de base de données.
    Collecter toutes les informations sur les balises Snowflake	Option permettant de collecter des métadonnées sur les balises Snowflake, quelle que soit la base de données dans laquelle elles résident.
    Collecter les informations de politique Snowflake	Option permettant de collecter des métadonnées sur les politiques de masquage et d’accès aux lignes Snowflake dans ou associées à la base de données spécifiée dans le paramètre de base de données.
    Collecter toutes les informations sur la police Snowflake	Option permettant de collecter des métadonnées sur les politiques de masquage et d’accès aux lignes Snowflake, quelle que soit la base de données dans laquelle elles résident.
    Collecter des informations sur l’application Streamlit	Option permettant de collecter des métadonnées sur les applications Snowflake Streamlit.
    Activer la collection d’exemples de valeurs de chaîne	Option permettant de collecter des valeurs d’échantillon et des histogrammes pour les colonnes contenant des données de chaîne. Remarque : S’applique uniquement si l’option Activer la collecte de statistiques de colonne est activée.
    Exclure les fonctions système	Option permettant d’exclure les fonctions intégrées du système de la collecte.

11. Configurez les options de connexion et de fiabilité.

    Tableau 7. Options de connexion et de fiabilité

    Champ	Description
    Entrepôt Snowflake	Entrepôt flocon de neige à utiliser lors de la connexion. Par défaut : entrepôt par défaut affecté à l’utilisateur
    Environnement de serveur	Nom convivial de l’environnement dans lequel votre serveur de base de données s’exécute. Utile lorsque le nom du serveur est localhost et que vous devez le différencier des autres environnements.
    ID de la base de données	Identificateur unique de cette base de données, utilisé pour générer l’ID de la base de données lorsque le nom de la base de données n’est pas suffisamment unique.
    Propriétés JDBC	Propriétés du pilote JDBC transmises à la connexion du pilote.
    Délai d’expiration de l’analyse SQL	Délai d’expiration en secondes pour l’analyse SQL pendant la collecte de traçabilité. Par défaut : 60

12. Sélectionnez Enregistrer.

Résultats

Le collecteur de métadonnées est créé et apparaît sur la page Connecteurs avec un état Configuré. Il est maintenant prêt à se connecter au système source et à récolter des métadonnées.

Que faire ensuite

Après avoir créé le collecteur, vous pouvez effectuer l’une des tâches suivantes :

• Exécutez le collecteur manuellement pour collecter immédiatement les métadonnées. Consultez Exécuter manuellement les collecteurs de métadonnées.
• Automatisez la collecte de métadonnées en planifiant des exécutions régulières du collecteur. Consultez Planifier les exécutions du collecteur de métadonnées.
• Surveillez l’état d’exécution et résolvez les problèmes en consultant les journaux d’exécution. Consultez Afficher les journaux d’exécution pour les exécutions des collecteurs.
• Découvrez et évaluez les ressources de données collectées dans le catalogue de données. Consultez Régir le Catalogue de données.