Hub d'intégration -Importation
Automatisez les tâches d’importation de données via une interface consolidée qui fournit une expérience guidée étape par étape. Définissez des sources de données externes, spécifiez des tables cibles, représentez la façon dont les données sources deviennent des données cibles et planifiez des importations régulières.
La gestion des importations simplifie Hub d'intégration le processus d’importation de données à partir de sources externes et leur transformation en ServiceNow tables. Vous pouvez configurer, exécuter et planifier vos importations de données via une interface unique.
Vous pouvez accéder Hub d'intégration à l’option Importer directement pour Studio du moteur de développement d'application créer des intégrations de données pour vos applications personnalisées. Pour plus d’informations, consultez Ajouter des données dans App Engine Studio.
Avantages
- Regroupe plusieurs fonctionnalités d’intégration de données dans un seul environnement, éliminant ainsi la nécessité de créer et de gérer plusieurs formulaires sur l’ensemble de la plateforme.
- Vous permet de gérer plusieurs intégrations via une interface unique.
- Vous guide dans la configuration des sources de données et des tables cibles.
- Vous permet de mapper et de transformer les données à partir d’une interface simplifiée unique.
- Vous permet de planifier des importations de données ou d’importer manuellement des données sur demande.
- Fournit des informations d’utilisation sur l’exécution des importations de données et des détails sur les lignes, les mises à jour et les erreurs importées.
Vue d’ensemble du processus d’importation
L’importation de données se fait en trois étapes.
- 1. Configurez une source de données.
- La source de données spécifie comment et où obtenir les données à importer. Dans Hub d'intégration, la source de données utilise un fichier Excel, un fichier CSV ou une action de flux de données pour obtenir des données à partir d’une source externe. Une action de flux de données envoie une demande REST, SOAP ou JDBC à une API et renvoie un flux de données.
- 2. Mappez les données aux tables cibles.
- Les tables cibles sont celles vers lesquelles vous souhaitez transformer les données. Une fois que vous avez sélectionné les tables cibles, vous pouvez spécifier comment les données sources doivent être transformées en celles-ci. La création d’un mappage de données décrit comment transformer les données. Les données ne sont transformées qu’après l’exécution de l’importation.
- 3. Exécutez ou planifiez l’importation.
- Une fois que vous avez configuré la source de données et déterminé le mappage de données, vous pouvez exécuter l’importation. Vous pouvez également planifier l’importation pour qu’elle s’exécute ultérieurement. Lorsque l’importation s’exécute, les données sont collectées à partir de la source, déplacées vers une table intermédiaire et transformées en tables cibles conformément aux spécifications de votre mappage.
Pour plus d’informations sur le fonctionnement de l’importation de données, reportez-vous à la section Jeux d’importation.
Hub d'intégration Environnement d’importation
L’environnement Hub d'intégration d’importation comprend les interfaces suivantes.
- Page de destination.
- Configuration source
- Mapper à la cible
- Importations des Calendriers
- Détails de l'exécution
Les sections suivantes expliquent chaque interface plus en détail.
Page de destination.
Créez des intégrations et accédez-y via la page de destination.
- 1. Liste des intégrations
- Les intégrations créées via l’interface d’importation Hub d'intégration sont accessibles ici.
- 2. Bouton Créer une nouvelle intégration
- Bouton pour commencer la création d’une nouvelle intégration.
Configuration source
Définissez une source de données pour une importation via la page de configuration source. La source de données doit être un fichier Excel, un fichier CSV ou une action de flux de données.
- 1. Sélecteur de type de source
- Menu permettant de sélectionner le type de source de données. Il comporte les sections suivantes.
- AD-HOC : Sélectionnez un fichier Excel ou CSV comme source de données.
- SPOKES : sélectionnez une action de flux de données comme source de données. Affiche les flux de données actifs, organisés par spoke et classés par ordre alphabétique.
- 2. Section Téléchargement de fichiers ou Connexion (la section Connexion n’est pas affichée)
Si la source de données est un fichier Excel ou CSV, la section Chargement de fichier s’affiche ici. Vous pouvez faire glisser un fichier ou le parcourir pour le charger. Accepte les fichiers XLSX, XLS, CSV et ZIP.
Si la source de données est une action de flux de données, la section Connexion s’affiche ici. Pour les actions de flux de données qui utilisent un alias de connexion, vous pouvez remplacer l’alias de connexion par défaut par n’importe lequel de ses alias enfants. Sélectionnez l’alias de connexion dans le menu. Pour plus d’informations, consultez Créer un alias de connexion et d’informations d’identification.
- 3. Section de configuration
- Section pour configurer la source de données sélectionnée. Les champs disponibles dépendent du type de source de données que vous utilisez.
- Pour un fichier Excel, vous pouvez sélectionner la feuille et spécifier le numéro de ligne à utiliser pour l’en-tête.
- Pour un fichier CSV, sélectionnez le délimiteur.
- Pour une action de flux de données, saisissez les entrées de celle-ci ici. Cette section s’affiche uniquement si l’action Flux de données a des entrées. Les actions de flux de données avec entrées ont des entrées uniques, de sorte que les champs qui apparaissent ici dépendent de l’action de flux de données sélectionnée et de sa configuration. Toutes les valeurs par défaut déjà configurées par les entrées de spoke sont pré-remplies.
- 4. Aperçu de la structure des données sources
- Section qui montre la structure des données sources. Pour un fichier Excel ou CSV, l’aperçu affiche les en-têtes de colonne. Pour une action de flux de données, il affiche la sortie d’objet complexe.
- 5. Bouton Propriétés
- Bouton permettant d’afficher le nom de l’intégration, sa description et le périmètre de l’application. Vous pouvez modifier le nom et la description à tout moment. Le périmètre de l’application ne peut pas être modifié et doit être sélectionné lors de la création de l’intégration.
- 6. Bouton Enregistrer
- Bouton permettant d’enregistrer la configuration source. Ce bouton n’est activé que lorsque la configuration source est mise à jour. Lorsque vous sélectionnez un type de source, la structure des données sources est automatiquement chargée dans le volet Aperçu de la structure des données source. Si vous modifiez la configuration source, cliquez sur Enregistrer pour recharger les données source. Les données doivent être prévisualisées au moins une fois avant de pouvoir les mapper à une table cible.
Mapper à la cible
Sélectionnez les tables cibles et déterminez comment les données sources y sont mappées. Mappez les données en faisant glisser les pastilles de données de la source vers la cible, en utilisant le sélecteur de pastilles ou en sélectionnant le mappage automatique. Transformez les données des tables cibles en appliquant des fonctions de transformation.
La section Map to target (Mapper sur la cible) comporte deux parties. Dans la première partie, sélectionnez les tables cibles. Dans la deuxième partie, mappez les données aux tables cibles.
La section de sélection de table comporte les composants suivants.
- 1. Ajouter une table
- Bouton permettant d’ajouter des tables cibles.
- 2. Paramètres de transformation
Bouton pour configurer les paramètres de transformation de votre intégration. Vous pouvez spécifier la taille du lot et la gestion des champs vides, activer le mode détaillé ou exécuter un script avant ou après l’intégration. Pour plus d'informations, consultez Paramètres de transformation.
Le bouton Paramètres de transformation n’apparaît pas tant que vous n’avez pas ajouté au moins une table cible.
- 3. Cartes de table cible
- Chaque carte contient le nom de la table cible, ses détails de création et indique si elle a été mappée. Sélectionnez la carte pour ouvrir l’interface de mappage des données.
- 4. Liste déroulante de la table cible
- Liste d’options pour la table cible. Comprend les éléments suivants.
- Propriétés : ouvre la fenêtre Propriétés du mappage, dans laquelle vous pouvez afficher ou modifier les options d’exécution des règles métier de la table lors de l’importation et d’exécution synchrone de l’importation.
- Modifier le mappage : ouvre la section de mappage de données dans laquelle vous pouvez créer ou modifier votre mappage de données.
- Configuration des tables : Ouvre Créateur de tables l’endroit où vous pouvez configurer la table cible. Cette option n’est disponible que si vous l’avez Créateur de tables installée. Pour plus d'informations, consultez Table Builder.
- Revalider : vérifie si des modifications ont été apportées au schéma de l’entité cible. Si des changements sont détectés, la carte de table cible affiche un message indiquant que le schéma cible a changé. La sélection de la carte de table cible ouvre une fenêtre dans laquelle vous pouvez mettre à jour le schéma de l’entité cible ou annuler pour conserver le même schéma. Validez à nouveau votre table chaque fois que vous modifiez la configuration de la table cible.
- Supprimer : supprime la table cible de l’intégration.
La section de mappage des données comporte les composants suivants.
- 1. Nom de la table cible
- Nom de la table cible vers laquelle vous effectuez actuellement le mappage.
- 2. Section des données sources
- Section qui affiche les données sources sous forme de pastilles de données. Pour mapper les données, faites glisser les pastilles de données vers la section des données de la table cible. Vous pouvez également utiliser le sélecteur de pastilles. Après avoir mappé un champ source à un champ cible, une petite icône de coche (
) apparaît en regard du nom du champ source. Si vous placez votre curseur sur la coche, l’info-bulle répertorie les champs cibles auxquels le champ source a été mappé, jusqu’à cinq champs. - 3. Section des données de la table cible
- Section qui affiche la façon dont les données sources sont mappées à chaque champ de la table cible sélectionnée. Vous pouvez afficher tous les champs dans la table cible ou sélectionner des champs individuels à l’aide du bouton Ajouter un champ . Pour les champs de choix et de référence, vous pouvez spécifier à quelle colonne mapper les données ou utiliser la colonne d’affichage par défaut.
- 4. Interrupteur à bascule Match
- Commutateur pour spécifier les champs dans lesquels le système doit vérifier les données correspondantes et, le cas échéant, mettre à jour les enregistrements existants au lieu d’en créer de nouveaux. Dans cette image, l’interrupteur à bascule Correspondance est activé pour le champ d’ID d’utilisateur . Si un enregistrement dans les données sources a un ID d’utilisateur qui correspond à l’ID d’utilisateur d’un enregistrement de la table cible, le système met à jour l’enregistrement existant dans la table cible au lieu d’en créer un nouveau.
- 5. Bouton Propriétés de mappage
- Bouton permettant d’afficher ou de modifier les options permettant d’exécuter les règles métier de la table lors de l’importation et d’exécuter l’importation de façon synchrone.
- 6. Bouton de mappage automatique
- Bouton permettant de mapper automatiquement les entités sources aux entités cibles portant le même nom.
- 7. Sélecteur de pastilles de données
- Bouton pour ouvrir le sélecteur de pastilles de données. Vous pouvez utiliser le sélecteur de pastilles pour mapper les pastilles de données sources aux valeurs de champ dans la table cible.
- 8. Icône de fonction de transformation
- Bouton pour ouvrir la liste des fonctions de transformation disponibles. Utilisez les fonctions de transformation pour changer ou modifier vos données. Par exemple, la fonction de transformation Trim supprime l’espace du début et de la fin d’une chaîne d’entrée.
Importations des Calendriers
Exécutez une importation immédiatement ou planifiez-la pour qu’elle s’exécute à une heure spécifique, à intervalles réguliers ou après une importation parente. Planifiez l’exécution simultanée des importations volumineuses afin de réduire le temps de traitement.
La section des importations de calendrier comporte les composants suivants.
- 1. Importations planifiées
- Liste des calendriers d’importation. Chaque calendrier d’importation apparaît dans son propre bouton.
- 2. Planifier un bouton d’importation
- Bouton permettant de créer un calendrier d’importation.
- 3. Section Exécutions
- Section contenant des informations sur les importations exécutées. Inclut des liens vers les enregistrements d’exécution, les enregistrements de contexte d’exécution et les enregistrements d’importation planifiée. Cette section s’affiche uniquement après l’exécution d’une importation.
- 4. Procès-verbaux d’exécution
- Liste des enregistrements d’exécution. Chaque enregistrement d’exécution fournit des informations sur une exécution, y compris les lignes importées, les erreurs et les messages de journal.
- 5. Enregistrements du contexte d’exécution
- Liste des enregistrements de contexte d’exécution. Chaque enregistrement de contexte d’exécution spécifie la prochaine importation planifiée à utiliser lors du traitement d’une importation planifiée hiérarchique.
- 6. Enregistrements d’importation planifiée
- Liste des enregistrements d’importation planifiée. Chaque enregistrement fournit le nom, la source de données, le calendrier et la méthode de partition pour l’importation planifiée.
- 7. Bouton Exécuter l’importation
- Bouton pour exécuter l’importation une seule fois.
Détails de l'exécution
Affichez les détails de chaque importation, tels que l’heure et la date d’exécution, ainsi que le contexte d’exécution. Ouvrez les enregistrements d’exécution de l’importation pour afficher l’état de l’importation et les lignes, erreurs et journaux importés.
La section des détails de l’exécution comporte les composants suivants.
- 1. Informations sur l’exécution
- Section fournissant des détails sur l’exécution, y compris le numéro de l’enregistrement d’exécution, le nom de l’importation planifiée, le numéro du jeu d’importation et la date de sa mise à jour.
- 2. Détails de l’exécution
Section avec des cartes indiquant le nombre total de lignes importées, traitées, en attente ou ignorées, ainsi que le nombre d’erreurs qui se sont produites. Si l’importation est traitée simultanément, cette section inclut également une carte Partitions. Pour plus d’informations, consultez Importations simultanées.
Vous pouvez cliquer sur les cartes pour filtrer les résultats. Les résultats filtrés s’affichent dans l’onglet Lignes de jeux d’importation en bas de la page. Par exemple, cliquer sur la carte En attente affiche les lignes en attente. Cliquer sur Total des lignes importées ou Effacer la sélection efface les filtres.Remarque :Le filtrage de carte n’est disponible que pour les lignes de jeux d’importation. Pour afficher la liste filtrée, assurez-vous que vous êtes sur l’onglet Lignes de jeux d’importation.- 3. Carte de partitions
- Vue graphique des partitions de jeux d’importation. La carte de partitions n’apparaît que pour les jeux d’importation simultanés. Vous pouvez cliquer sur une partition pour en afficher les détails. Vous pouvez également utiliser les cartes Détails de l’exécution pour un filtrage supplémentaire. Lorsque vous combinez le filtre de partition avec les filtres à carte, le système utilise une opération ET pour le filtrage. Par exemple, si vous cliquez sur une partition, puis sur la carte Erreurs, l’onglet Lignes du jeu d’importation affiche uniquement les erreurs de cette partition.
- 4. Vue de liste des partitions
- Option permettant d’afficher les détails de chaque partition, y compris le numéro du jeu d’importation, ainsi que le type et l’état de chaque tâche de jeu d’importation. La vue de liste des partitions s’affiche uniquement pour les jeux d’importation simultanés. La vue de liste des partitions offre les mêmes options de filtrage que la carte Partitions, vous pouvez donc utiliser l’une ou l’autre pour filtrer une partition.
- 5. Importez les détails
- Section détaillant les lignes de jeu d’importation, les demandes HTTP sortantes, l’historique des exécutions des actions, les journaux d’importation et les erreurs pour chaque enregistrement d’exécution.
Hub d'intégration termes d’importation
- Source de données
- Une source de données est un enregistrement de configuration qui définit le type de données à importer et le point de terminaison où votre instance peut les obtenir.
- Action de flux de données
- Une action de flux de données est une action qui envoie des demandes REST, SOAP ou JDBC vers Concepteur de flux des API et renvoie un flux de données de réponse. Utilisez les actions de flux de données pour récupérer des données de plus de 10 Mo ou lorsque vous utilisez des API qui retournent des résultats paginés.
- Table cible
- Une table cible est la table vers laquelle vous souhaitez transformer vos données sources.
- Fonction de transformation
- Une fonction de transformation est une fonction qui change ou modifie vos données. Par exemple, une fonction qui transforme une chaîne d’entrée en caractères majuscules.
- Exécution
- Une exécution est un enregistrement d’exécution qui contient les détails d’exécution d’une importation unique. Chaque exécution fournit des détails d’importation pour une cible spécifique, y compris les lignes importées, les messages de journal et les erreurs.
- Contexte d'exécution
- Un contexte d’exécution est un enregistrement qui spécifie la prochaine importation planifiée à utiliser lors du traitement d’une importation planifiée hiérarchique.
- Jeu d'importation
- Un jeu d’importation est un ensemble d’enregistrements d’exécution qui contiennent des données brutes importées d’une source de données. Le système stocke les enregistrements importés dans une table intermédiaire de jeux d’importation.
Considérations relatives à la conception
Suivez ces lignes directrices pour profiter des avantages offerts par Hub d'intégration les importations.
- Créer toutes les Hub d'intégration importations à partir de Hub d'intégration
- Seules les intégrations créées dans l’environnement d’importation Hub d'intégration y sont accessibles. Par exemple, vous ne pouvez pas configurer une source de données et un mappage via des formulaires de plateforme, mais ensuite planifier l’importation à partir de .Hub d'intégration Seules les intégrations créées apparaissent Hub d'intégration sur la page de destination.
- Ne modifiez pas les enregistrements de configuration en dehors de Hub d'intégration
- La modification directe des enregistrements de configuration peut changer si et comment les données sont importées et mappées. Si vous devez modifier la configuration de la source de données, du mappage ou du calendrier d’importation, faites-le à partir de l’interface d’importation Hub d'intégration .
- Éviter de modifier les actions de flux de données utilisées dans les sources de données
- La modification des actions de flux de données utilisées comme sources de données peut changer le mappage de la source à la cible. Lorsque la sortie d’une action de flux de données change, la page Mapper vers la cible affiche un avertissement indiquant que le schéma d’objet complexe a changé. Vous devrez peut-être reconfigurer le mappage.