Concepts clés des jeux d’importation

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 6 minutes de lecture

    • Renseignez-vous sur les ensembles d’importation avant d’importer des données dans votre instance.

    La table des ensembles d’importation sert d’aire de transit pour les enregistrements importés à partir d’une source de données.

    Remarque :
    N’importez pas de données en blocs extrêmement volumineux. La création d’un jeu d’importation extrêmement volumineux peut entraîner des retards et des pannes système.

    Une carte de transformation détermine les relations entre les champs affichés dans une table de jeux d’importation et les champs d’une table existante ServiceNow , telle que la table Incidents ou Utilisateurs.

    Les ensembles d’importation ignorent les enregistrements lorsque les données de l’instance correspondent aux données en cours d’importation.

    Remarque :
    Les jeux d’importation s’exécutent en tant que système utilisateur et ne peuvent donc pas ajouter de données à des champs chiffrés.

    Terminologie des jeux d’importation

    Tableau 1. Termes clés
    Terme Définition
    Table de jeu d’importation

    Table qui sert d’emplacement intermédiaire pour les enregistrements importés à partir d’une source de données avant de transformer ces enregistrements. Les champs de ces tables sont générés automatiquement en fonction des données importées et ne doivent pas être modifiés manuellement.

    Remarque :
    Les colonnes d’une table de jeux d’importation sont générées automatiquement et ne doivent pas être ajoutées manuellement. L’ajout manuel de colonnes peut avoir un impact négatif sur le nettoyage planifié de la table et peut entraîner un nettoyage incomplet et des enregistrements orphelins.

    Si vous devez ajouter des colonnes à une table de jeux d’importation, commencez par ajouter la colonne aux données d’entrée, puis sélectionnez Tester le chargement de 20 enregistrements ou Charger tous les enregistrements pour générer automatiquement les colonnes dans la table de jeux d’importation.

    Les colonnes d’une table de jeux d’importation peuvent ne pas avoir le même type que les données d’entrée. Par exemple, une colonne de devise peut être représentée comme une colonne de chaîne dans une table de jeu d’importation jusqu’à ce qu’elle soit affectée à une colonne de table cible de type devise.
    Source de données Un enregistrement qui définit où obtenir les données à importer. Une source de données peut pointer vers un fichier, une base de données compatible JDBC ou une unité organisationnelle LDAP.
    Transformation Conversion des données d’une table de jeux d’importation vers une autre table selon les règles définies dans une carte de transformation.
    Carte de transformation Un ensemble de cartes de champs qui définissent les relations entre les champs d’un jeu d’importation et les champs d’une table, telle que Incident.

    Pendant la transformation, les données sont copiées à partir de la table de jeu d'importation vers la table de destination en fonction de la carte de transformation.

    Un champ de jeu d'importation unique peut être mappé à plusieurs champs sur d'autres tables.
    Transformateur d'ensemble d'importation robuste Extraire, transformer et charger des données dans une ou plusieurs tables cibles. Séparez les fonctions de transformation et de traitement, offrant une alternative plus flexible aux cartes de transformation.
    Insertion d’enregistrement étranger Une insertion d’enregistrement étranger se produit lorsqu’une importation apporte une modification à une table qui n’est pas la table cible pour cette importation.

    Ce changement se produit lors de la mise à jour d’un champ de référence dans une table. Par exemple, lors de la mise à jour d’une valeur pour l’appelant sur un incident, l’importation met en fait à jour la table sys_user.
    Fusion Permet de mettre à jour les enregistrements de table cible existants lors de la transformation des données d’importation.

    Vous pouvez spécifier si un champ Cible doit être utilisé pour fusionner lors de la transformation des enregistrements de jeu d’importation. Si l’option Fusion de la carte de champs est sélectionnée, lorsque la ligne du jeu d’importation est transformée, l’instance recherche un enregistrement existant dans la table cible qui a la même valeur dans le champ Cible que le champ Source de la ligne du jeu d’importation.

    Si un enregistrement existant avec une valeur correspondante dans la table cible est trouvé, cet enregistrement est mis à jour. Si aucun enregistrement correspondant n’est trouvé, un nouvel enregistrement est créé dans la table cible.

    Formats d’importation pris en charge

    Vous pouvez importer des données à partir de plusieurs formats de fichiers différents ou sources de données externes.

    Tableau 2. Formats de fichier
    Format Limitations
    CSV Les fichiers CSV doivent être conformes à la norme CSV proposée en RFC4180. En particulier, cela signifie que les guillemets doubles ne peuvent pas apparaître à l’intérieur des champs. La première ligne de données d’un fichier CSV importé devient la ligne d’en-tête et définit les colonnes de ce jeu d’importation.
    Excel Les fichiers Excel doivent avoir l’extension XLS ou XLSX.
    XML Les fichiers XML doivent avoir un XPath cohérent pour chaque ligne de données.
    JSON
    • Pour JSON les tableaux, le chemin d’accès de chaque ligne doit spécifier deux fois l’élément racine du tableau, par exemple /incidents/incidents.
    • JSON doivent suivre la RFC-4627. Par exemple, une seule virgule doit séparer une valeur du nom suivant. Les noms dans un objet doivent être uniques.
    • Les prédicats tels que @element, [index] ou text(), ainsi que les axes tels que les enfants, les frères et sœurs ou les ancêtres ne sont pas pris en charge.
    Personnalisé (analyse par script) Vous pouvez écrire du JavaScript personnalisé pour analyser les lignes d’entrée dans la liste des cartes.

    La ServiceNow® plateforme peut importer des données à partir des sources de données externes suivantes.

    Tableau 3. Sources de données externes
    Source de données Limitations
    JDBC Les importations JDBC nécessitent une carte de transformation valide. Certaines configurations réseau peuvent nécessiter un ServiceNow® Serveur MIDfichier .
    LDAP Les importations LDAP nécessitent une carte de transformation valide.
    OIDC Les importations OIDC nécessitent une carte de transformation valide.
    ServiceNow® REST (Hub d'intégration) Les importations REST nécessitent une carte de transformation valide.
    Personnalisé (chargement par script) Les importations personnalisées nécessitent une carte de transformation valide.

    Pour en savoir plus sur les différentes sources de données, reportez-vous à la section Sources de données.

    Comparaison des cartes de transformation et des transformateurs robustes des ensembles de données à importer

    Les cartes de transformation et les transformateurs de jeux d’importation robustes convertissent les données. Les cartes de transformation convertissent les données de la table intermédiaire vers le fichier de destination. Les transformateurs de jeux d’importation robustes convertissent les données d’une table source en écouteur de message. Si une source de données possède à la fois une carte de transformation et un transformateur de jeu d’importation robuste, le système utilise le transformateur de jeu d’importation robuste au lieu de la carte de transformation.

    Nettoyage planifié du jeu d’importation

    La Import Set Deleter tâche planifiée nettoie les anciennes données de jeu d’importation tous les jours à minuit.

    Par défaut, la tâche supprime tous les ensembles d’importation de plus de 7 jours, ainsi que les enregistrements de table d’ensembles d’importation associés. Si cette tâche planifiée n’est pas active sur votre instance, activez-la pour réduire la croissance des tables de jeux d’importation que vous pouvez avoir, en particulier lors de l’utilisation d’importations récurrentes.
    Remarque :
    Si le nettoyage planifié n’est pas actuellement actif sur votre système, vous devez vous assurer que vos tables de jeu d’importation ne sont pas trop volumineuses (> 5 millions d’enregistrements au total dans toutes les tables) avant d’activer ce nettoyage. Si les tables sont trop volumineuses, supprimez manuellement les enregistrements avant de poursuivre. Contact Service et assistance client pour coordonner la suppression de ces données.
    Figure 1. Exécution de script planifiée
    Outil de suppression de jeu d’importation.

    Pour connaître les procédures, reportez-vous à la section Supprimer les jeux d’importation.

    Supprimeur de table de jeu d’importation

    Vous pouvez supprimer manuellement une ou toutes les tables de jeux d’importation suivantes :
    • Ordinateur
    • Utilisateur
    • Notification
    • Emplacement
    Vous pouvez également supprimer les cartes de transformation associées ou vous pouvez supprimer uniquement les données et conserver la structure de la table.
    Figure 2. Tables pouvant être supprimées
    Supprimeur de table de jeu d’importation.

    Pour connaître les procédures, reportez-vous à la section Supprimer les tables de jeux d’importation.