Hub d'intégration -Importation
Automatisez les tâches d’importation de données via une interface consolidée qui fournit une expérience guidée étape par étape. Définissez des sources de données externes, spécifiez des tables cibles, représentez la façon dont les données sources deviennent des données cibles et planifiez des importations régulières.
La gestion des importations grâce à Hub d'intégration simplifie le processus d’importation de données à partir de sources externes et leur transformation en ServiceNow tables. Vous pouvez configurer, exécuter et planifier vos importations de données via une seule interface.
Vous pouvez accéder Hub d'intégration à : Importez directement App Engine Studio pour créer des intégrations de données pour vos applications personnalisées. Pour plus d’informations, consultez Ajout de données dans App Engine Studio.
Avantages
- Consolide plusieurs fonctionnalités d’intégration de données dans un environnement unique, éliminant ainsi la nécessité de créer et de gérer plusieurs formulaires sur l’ensemble de la plateforme.
- Vous permet de gérer plusieurs intégrations via une interface unique.
- Vous guide dans la configuration des sources de données et des tables cibles.
- Vous permet de mapper et de transformer des données à partir d’une interface unique simplifiée.
- Vous permet de planifier des importations de données ou d’importer manuellement des données sur demande.
- Fournit des informations d’utilisation sur l’exécution des importations de données et des détails sur les lignes importées, les mises à jour et les erreurs.
Vue d’ensemble du processus d’importation
L’importation de données comporte trois étapes.
- 1. Configurer une source de données.
- La source de données spécifie comment et où obtenir les données à importer. Dans Hub d'intégration, la source de données utilise un fichier Excel, un fichier CSV ou une action de flux de données pour obtenir des données d’une source externe. Une action de flux de données envoie une demande REST, SOAP ou JDBC à une API et renvoie un flux de données.
- 2. Mappez les données aux tables cibles.
- Les tables cibles sont les tables vers lesquelles vous voulez transformer les données. Une fois que vous avez sélectionné les tables cibles, vous pouvez spécifier comment les données sources doivent y être transformées. La création d’une carte de données décrit comment transformer les données. Les données ne sont pas transformées tant que vous n’avez pas exécuté l’importation.
- 3. Exécutez ou planifiez l’importation.
- Une fois que vous avez configuré la source de données et déterminé le mappage des données, vous pouvez exécuter l’importation. Vous pouvez également planifier l’exécution de l’importation ultérieurement. Lorsque l’importation s’exécute, les données sont collectées à partir de la source, déplacées vers une table intermédiaire et transformées vers les tables cibles conformément aux spécifications de votre mappage.
Pour plus de détails sur le fonctionnement de l’importation de données, voir Jeux d’importation.
Hub d'intégration Environnement d’importation
L’environnement Hub d'intégration d’importation comprend les interfaces suivantes.
- Page de destination
- Configuration de la source
- Mapper à la cible
- Importations des Calendriers
- Détails de l'exécution
Les sections suivantes expliquent chaque interface plus en détail.
Page de destination
Créez des intégrations et accédez à des intégrations via la page de destination.
- 1. Liste des intégrations
- Les intégrations créées via l’interface d’importation Hub d'intégration sont accessibles ici.
- 2. Créer un bouton d’intégration
- Bouton pour commencer la création d’une nouvelle intégration.
Configuration de la source
Définissez une source de données pour une importation via la page de configuration source. La source de données doit être un fichier Excel, un fichier CSV ou une action de flux de données.
- 1. Sélecteur de type de source
- Menu permettant de sélectionner le type de source de données. Il comporte les sections suivantes.
- AD-HOC : Sélectionnez un fichier Excel ou CSV comme source de données.
- SPOKES : Sélectionnez une action de flux de données comme source de données. Affiche les flux de données actifs organisés par spoke et classés par ordre alphabétique.
- 2. Section de téléchargement de fichiers ou de connexion (la section Connexion n’est pas affichée)
Si la source de données est un fichier Excel ou CSV, la section Chargement du fichier s’affiche ici. Vous pouvez faire glisser un fichier ou parcourir pour le charger. Accepte les fichiers XLSX, XLS, CSV et ZIP.
Si la source de données est une action de flux de données, la section Connexion s’affiche ici. Pour les actions de flux de données qui utilisent un alias de connexion, vous pouvez remplacer l’alias de connexion par défaut par l’un de ses alias enfants. Sélectionnez l’alias de connexion dans le menu. Pour plus d’informations, consultez Créer un alias de connexion et d’informations d’identification.
- 3. Section de configuration
- Section pour configurer la source de données sélectionnée. Les champs disponibles dépendent du type de source de données que vous utilisez.
- Pour un fichier Excel, vous pouvez sélectionner la feuille et spécifier le numéro de ligne à utiliser pour l’en-tête.
- Pour un fichier CSV, sélectionnez le délimiteur.
- Pour une action de flux de données, entrez les entrées correspondantes ici. Cette section s’affiche uniquement si l’action Flux de données comporte des entrées. Les actions de flux de données avec entrées ont des entrées uniques, de sorte que les champs qui s’affichent ici dépendent de l’action de flux de données sélectionnée et de sa configuration. Toutes les valeurs par défaut déjà configurées par les entrées de spoke sont pré-remplies.
- 4. Aperçu de la structure des données sources
- Section qui montre la structure des données sources. Pour un fichier Excel ou CSV, l’aperçu affiche les en-têtes de colonne. Pour une action de flux de données, elle affiche la sortie d’objet complexe.
- 5. Bouton Propriétés
- Bouton permettant d’afficher le nom de l’intégration, sa description et le périmètre de l’application. Vous pouvez modifier le nom et la description à tout moment. Le périmètre de l’application ne peut pas être modifié et doit être sélectionné lors de la création de l’intégration.
- 6. Bouton Enregistrer
- Bouton permettant d’enregistrer la configuration source. Ce bouton n’est activé que lorsque la configuration source est mise à jour. Lorsque vous sélectionnez un type de source, la structure des données sources est automatiquement chargée dans le volet d’aperçu Structure des données source. Si vous modifiez la configuration source, cliquez sur Enregistrer pour recharger les données sources. Les données doivent être prévisualisées au moins une fois avant de pouvoir les mapper à une table cible.
Mapper à la cible
Sélectionnez les tables cibles et déterminez comment les données sources leur sont mappées. Mappez les données en faisant glisser des pastilles de données de la source vers la cible, en utilisant le sélecteur de pastilles ou en sélectionnant Mappage automatique. Transformez les données dans les tables cibles en appliquant des fonctions de transformation.
La section Mapper vers la cible comporte deux parties. Dans la première partie, sélectionnez les tables cibles. Dans la deuxième partie, mappez les données aux tables cibles.
La section de sélection de table comporte les composants suivants.
- 1. Ajouter une table
- Bouton pour ajouter des tables cibles.
- 2. Paramètres de transformation
Bouton permettant de configurer les paramètres de transformation de votre intégration. Vous pouvez spécifier la taille des lots et la gestion des champs vides, activer le mode détaillé ou exécuter un script avant ou après l’intégration. Pour plus d'informations, consultez Paramètres de transformation.
Le bouton Paramètres de transformation n’apparaît pas tant que vous n’avez pas ajouté au moins une table cible.
- 3. Cartes de table cibles
- Chaque carte contient le nom de la table cible, les détails de sa création et indique si elle a été mappée. Sélectionnez la carte pour ouvrir l’interface de mappage des données.
- 4. Liste déroulante de la table cible
- Liste des options pour la table cible. Comprend les éléments suivants.
- Propriétés : ouvre la fenêtre Propriétés de mappage dans laquelle vous pouvez afficher ou modifier les options permettant d’exécuter les règles métier de la table lors de l’importation et d’exécuter l’importation de manière synchrone.
- Modifier le mappage : ouvre la section mappage de données dans laquelle vous pouvez créer ou modifier votre mappage de données.
- Configuration de table : s’ouvre Générateur de tables dans lequel vous pouvez configurer la table cible. Cette option n’est disponible que si vous l’avez Générateur de tables installée. Pour plus d'informations, consultez Table Builder.
- Revalider : vérifie si des changements sont apportés au schéma d’entité cible. Si des changements sont détectés, la carte de table cible affiche un message indiquant que le schéma cible a changé. La sélection de la carte de table cible ouvre une fenêtre dans laquelle vous pouvez mettre à jour le schéma d’entité cible ou annuler pour conserver le même schéma. Validez à nouveau votre table chaque fois que vous modifiez la configuration de la table cible.
- Supprimer : supprime la table cible de l’intégration.
La section de mappage des données comporte les composants suivants.
- 1. Nom de la table cible
- Nom de la table cible vers laquelle vous effectuez actuellement le mappage.
- 2. Section des données sources
- Section qui affiche les données sources sous forme de pastilles de données. Pour mapper les données, faites glisser les pastilles de données vers la section de données de la table cible. Vous pouvez également utiliser le sélecteur de pilules. Une fois que vous avez mappé un champ source à un champ cible, une petite icône de coche (icône de
) apparaît en regard du nom du champ source. Si vous placez le curseur sur la coche, l’info-bulle répertorie les champs cibles auxquels le champ source a été mappé, jusqu’à cinq champs. - 3. Section des données de la table cible
- Section qui affiche la façon dont les données sources sont mappées à chaque champ de la table cible sélectionnée. Vous pouvez afficher tous les champs de la table cible ou sélectionner des champs individuels avec le bouton Ajouter un champ . Pour les champs de choix et de référence, vous pouvez spécifier la colonne à laquelle mapper les données ou vous pouvez utiliser la colonne d’affichage par défaut.
- 4. Interrupteur à bascule de correspondance
- Commutateur permettant de spécifier les champs dans lesquels le système doit vérifier les données correspondantes et, le cas échéant, mettre à jour les enregistrements existants au lieu d’en créer de nouveaux. Sur cette image, le commutateur Correspondance est activé pour le champ d’ID de l’utilisateur . Si un enregistrement dans les données sources a un ID utilisateur qui correspond à l’ID d’utilisateur d’un enregistrement dans la table cible, le système mettra à jour l’enregistrement existant dans la table cible au lieu d’en créer un nouveau.
- 5. Bouton des propriétés de mappage
- Bouton permettant d’afficher ou de modifier les options permettant d’exécuter les règles métier de la table lors de l’importation et d’exécuter l’importation de manière synchrone.
- 6. Bouton Mappage automatique
- Bouton permettant de mapper automatiquement les entités sources aux entités cibles portant des noms similaires.
- 7. Sélecteur de pilules de données
- Bouton pour ouvrir le sélecteur de pastilles de données. Vous pouvez utiliser le sélecteur de pastilles pour mapper les pastilles de données sources aux valeurs de champ de la table cible.
- 8. Icône de fonction de transformation
- Bouton permettant d’ouvrir la liste des fonctions de transformation disponibles. Utilisez les fonctions de transformation pour changer ou modifier vos données. Par exemple, la fonction de transformation Trim supprime l’espace du début et de la fin d’une chaîne d’entrée.
Importations des Calendriers
Exécutez une importation immédiatement ou planifiez-la pour qu’elle s’exécute à une heure précise, à intervalles réguliers ou après une importation parente. Planifiez l’exécution simultanée d’importations volumineuses pour réduire le temps de traitement.
La section des importations de calendrier comporte les composants suivants.
- 1. Importations planifiées
- Liste des calendriers d’importation. Chaque calendrier d’importation apparaît dans son propre bouton.
- 2. Bouton Planifier une importation
- Bouton permettant de créer un calendrier d’importation.
- 3. Section Exécutions
- Section contenant des informations sur les importations exécutées. Comprend des liens vers des enregistrements d’exécution, des enregistrements de contexte d’exécution et des enregistrements d’importation planifiée. Cette section n’apparaît qu’après l’exécution d’une importation.
- 4. Registres d’exécution
- Liste des enregistrements d’exécution. Chaque enregistrement d’exécution fournit des informations sur une exécution, y compris les lignes importées, les erreurs et les messages du journal.
- 5. Enregistrements du contexte d’exécution
- Liste des enregistrements de contexte d’exécution. Chaque enregistrement de contexte d’exécution spécifie la prochaine importation planifiée à utiliser lors du traitement d’une importation planifiée hiérarchique.
- 6. Enregistrements d’importation planifiée
- Liste des enregistrements d’importation planifiée. Chaque enregistrement fournit le nom, la source de données, le calendrier et la méthode de partition de l’importation planifiée.
- 7. Bouton Exécuter l’importation
- Bouton pour exécuter l’importation une fois.
Détails de l'exécution
Affichez les détails de chaque importation, tels que l’heure et la date d’exécution, ainsi que le contexte d’exécution. Ouvrez les enregistrements d’exécution de l’importation pour afficher l’état de l’importation et les lignes, erreurs et journaux importés.
La section des détails de l’exécution comporte les composants suivants.
- 1. Informations sur l’exécution
- Section fournissant des détails sur l’exécution, y compris le numéro de l’enregistrement d’exécution, le nom de l’importation planifiée, le numéro de l’ensemble de données à importer et la date de sa mise à jour.
- 2. Détails de l’exécution
Section avec des cartes affichant le nombre total de lignes importées, traitées, en attente ou ignorées, ainsi que le nombre d’erreurs qui se sont produites. Si l’importation est traitée simultanément, cette section inclut également une carte Partitions. Pour plus d’informations, consultez Importations simultanées.
Vous pouvez cliquer sur les cartes pour filtrer les résultats. Les résultats filtrés s’affichent dans l’onglet Lignes de jeux d’importation vers le bas de la page. Par exemple, si vous cliquez sur la carte En attente , les lignes en attente s’affichent. Cliquez sur Nombre total de lignes importées ou sur Effacer la sélection pour effacer les filtres.Remarque :Le filtrage de carte n’est disponible que pour les lignes de jeu d’importation. Pour afficher la liste filtrée, assurez-vous d’être sur l’onglet Lignes de jeux d’importation.- 3. Carte de partitions
- Vue graphique des partitions du jeu d’importation. La carte de partitions n’apparaît que pour les jeux concurrents d’importation. Vous pouvez cliquer sur une partition pour en afficher les détails. Vous pouvez également utiliser les cartes Détails de l’exécution pour un filtrage supplémentaire. Lorsque vous combinez le filtre de partition avec les filtres de carte, le système utilise une opération AND pour le filtrage. Par exemple, si vous cliquez sur une partition, puis sur la carte Erreurs, l’onglet Lignes de jeux d’importation affiche uniquement les erreurs de cette partition.
- 4. Vue de liste des partitions
- Option permettant d’afficher les détails de chaque partition, y compris le numéro de l’ensemble d’importation, ainsi que le type et l’état de chaque tâche de jeu d’importation. La vue de liste des partitions n’apparaît que pour les jeux concurrents d’importation. La vue de liste des partitions fournit les mêmes options de filtrage que la carte Partitions, vous pouvez donc utiliser l’une ou l’autre pour filtrer une partition.
- 5. Détails de l’importation
- Section détaillant les lignes de l’ensemble de données à importer, les requêtes HTTP sortantes, l’historique des exécutions d’actions, les journaux d’importation et les erreurs pour chaque enregistrement d’exécution.
Hub d'intégration Termes d’importation
- Source de données
- Une source de données est un enregistrement de configuration qui définit le type de données à importer et le point de terminaison où votre instance peut les obtenir.
- Action de flux de données
- Une action de flux de données est une action qui envoie des demandes REST, SOAP ou JDBC depuis Studio de workflow les API et renvoie un flux de données de réponse. Utilisez des actions de flux de données pour récupérer des données de plus de 10 Mo ou lorsque vous travaillez avec des API qui renvoient des résultats paginés.
- Table cible
- Une table cible est la table vers laquelle vous souhaitez que vos données sources soient transformées.
- Fonction de transformation
- Une fonction de transformation est une fonction qui change ou modifie vos données. Par exemple, une fonction qui transforme une chaîne d’entrée en caractères tout en majuscules.
- Exécution
- Une exécution est un enregistrement d’exécution qui contient les détails de l’exécution pour une importation unique. Chaque exécution fournit des détails sur l’importation d’une cible spécifique, y compris les lignes importées, les messages du journal et les erreurs.
- Contexte d'exécution
- Un contexte d’exécution est un enregistrement qui spécifie la prochaine importation planifiée à utiliser lors du traitement d’une importation planifiée hiérarchique.
- Jeu d'importation
- Un jeu d’importation est un ensemble d’enregistrements d’exécution qui contient les données brutes importées à partir d’une source de données. Le système stocke les enregistrements importés dans une table intermédiaire de jeu d’importation.
Considérations relatives à la conception
Suivez ces directives pour profiter des avantages offerts par Hub d'intégration les importations.
- Créer toutes les Hub d'intégration importations à partir de Hub d'intégration
- Seules les intégrations créées dans l’environnement d’importation Hub d'intégration y sont accessibles. Par exemple, vous ne pouvez pas configurer une source de données et le mappage via des formulaires de plateforme, mais planifier l’importation à partir de .Hub d'intégration Seules les intégrations créées dans Hub d'intégration s’affichent sur la page de destination.
- Ne modifiez pas les enregistrements de configuration en dehors de Hub d'intégration
- La modification directe des enregistrements de configuration peut changer si et comment les données sont importées et mappées. Si vous devez modifier la configuration de la source de données, du mappage ou du calendrier d’importation, faites-le à partir de l’interface d’importation Hub d'intégration .
- Éviter de modifier les actions de flux de données utilisées dans les sources de données
- La modification des actions de flux de données utilisées comme sources de données peut modifier le mappage de la source vers la cible. Lorsque la sortie d’une action de flux de données change, la page Mapper vers la cible affiche un avertissement indiquant que le schéma d’objet complexe a changé. Vous devrez peut-être reconfigurer le mappage.