Centre d’intégration ETL (3.2)
Utilisez l’application de stockage Centre d’intégration ETL pour créer et gérer des cartes de transformation ETL, qui intègrent des données tierces dans la CMDB ou dans des tables non CMDB sans compromettre l’intégrité des données. Centre d’intégration ETL fournit une interface utilisateur simplifiée qui vous guide tout au long du processus d’intégration de bout en bout, y compris une exécution d’intégration de test d’exemples de données.
Le module d’extension Centre d’intégration ETL (sn_int_studio) fournit la fonctionnalité Centre d’intégration ETL.
- Utilisez le tableau de bord des intégrations CMDB pour suivre la progression, les résultats et les erreurs associés à l’utilisation des intégrations personnalisées créées dans Centre d’intégration ETL. Le tableau de bord des intégrations CMDB est inclus dans l’application Éléments communs d’intégration pour l’App Store CMDB.
- Regarder l’IntegrationHub ETL | Importation de ressources dans la vidéo CMDB pour une introduction et une présentation pas à pas de l’outil Centre d’intégration ETL.
Demander des applications dans l'App Store
Visitez le site Web ServiceNow Store pour découvrir toutes les applications disponibles et pour obtenir des informations sur la procédure à suivre pour soumettre des demandes à la boutique. Pour obtenir des informations sur les notes de publication cumulatives pour toutes les applications publiées, consultez les ServiceNow Storenotes de publication relatives à l'historique des versions.
Rôles requis
Les utilisateurs disposant du rôle cmdb_inst_admin peuvent utiliser Centre d’intégration ETL pour créer des intégrations, ou personnaliser une intégration préexistante fournie par ServiceNow ou par un fournisseur dans le ServiceNow Store. Un fournisseur peut créer une nouvelle intégration et la fournir en tant qu’application pour que tout le monde puisse l’utiliser.
Prise en charge des tables non CMDB
À partir de la Yokohama version, Centre d’intégration ETL prend en charge l’intégration de données tierces dans certaines tables non CMDB. Centre d’intégration ETL prend en charge les tables non CMDB qui sont prises en charge par Identification et réconciliation (IRE). Pour plus d’informations sur les tables non CMDB prises en charge et toute configuration nécessaire, reportez-vous à la section Prise en charge IRE pour les tables non CMDB.
- La spécification d’associations de classes n’est pas obligatoire pour les tables non CMDB.
- L’ajout de relations ne s’applique pas aux tables non CMDB.
- Les associations de classes d’une table non CMDB sont basées sur un champ de référence au lieu d’une relation CMDB.
Processus
- Moteur de transformation robuste (RTE) : utilisé pour transformer les données sources brutes stockées dans des tables intermédiaires en données mappées et intégrées dans la CMDB. RTE utilise des cartes de transformation ETL qui ont été créées pour l’intégration pendant la transformation des données.
- Moteur Identification et réconciliation (IRE): utilisé comme cadre de travail centralisé pour les processus d’identification et de rapprochement entre différentes sources de données. Les processus IRE contribuent au maintien de l’intégrité des données dans la CMDB et dans les tables non CMDB prises en charge.
Centre d’intégration ETL utilise RTE et IRE qui fonctionnent ensemble pour traiter et intégrer les données. Les données sont d’abord importées à partir d’une source de données, puis stockées dans des tables intermédiaires temporaires dans des systèmes de jeux d’importation. À l’aide des données des tables intermédiaires et de la carte de transformation ETL créée par Centre d’intégration ETL, RTE crée des charges utiles IRE qui sont ensuite traitées par IRE. IRE applique des processus de rapprochement pour éviter les problèmes potentiels tels que les CI en double, en veillant à ce que les tables CMDB ou non CMDB restent intègres, puis intègre les données résultantes.
Lorsque vous créez une intégration, vous importez les données sources, transformez les données si nécessaire, et sélectionnez les classes CMDB cibles (ou les tables non CMDB) et les attributs auxquels mapper les données. Enfin, vous exécutez un test d’intégration des exemples de données, à l’aide de vos paramètres dans Centre d’intégration ETL. Vous pouvez ensuite prévisualiser les résultats des tests d’intégration et ajuster les paramètres avant de planifier des exécutions d’intégration récurrentes pour les ensembles de données volumineux. Si vous développez et testez la carte de transformation ETL sur une instance de développement, vous pouvez tester et ajuster la configuration avant son implémentation sur une instance de production.
Par exemple, vous pouvez intégrer des données de SCCM (Microsoft System Center Configuration Manager).
Consultez la page de la communauté IntegrationHub : Extract Tranform Load (IH-ETL) est GA dans ServiceNow Store pour obtenir une vue d’ensemble d’IntegrationHub ETL, y compris ses composants et son workflow.
Configuration guidée
Une configuration guidée organise toutes les tâches dans l’ordre correct, suit leur achèvement et applique toutes les dépendances de tâches. Les tâches qui dépendent de l’achèvement d’autres tâches sont activées ou désactivées lorsque vous parcourez l’outil et que vous terminez des tâches.
Mode lecture seule
Lors de l’ouverture d’un connecteur du graphe de services dans lequel Centre d’intégration ETL ne détecte aucune donnée entrante provenant de la source de données, l’intégration est disponible en mode lecture seule. En mode lecture seule, vous pouvez accéder à toutes les tâches de configuration guidée sur la page Assistant de carte de transformation ETL. Vous pouvez examiner tous les paramètres et définitions dans l’intégration, même si elle n’est pas renseignée avec des données réelles. Toutefois, vous ne pouvez pas effectuer de mises à jour vers une connexion en lecture seule.
Le mode lecture seule est utile pour étudier une connexion existante dans le but de créer une nouvelle connexion similaire à la connexion en lecture seule. Le mode lecture seule peut également aider à résoudre les problèmes de connexion.
Centre d’intégration ETL et ensembles d’importation
- Les processus du moteur Identification et rapprochement (IRE) sont intégrés au centre d’intégration ETL afin que toutes les données soient automatiquement traitées par IRE dans le cadre de l’intégration. L’utilisation de jeux d’importation et de cartes de transformation n’est pas un moyen simple d’appliquer les processus IRE.
- Centre d’intégration ETL utilise une configuration guidée qui fournit des conseils et une interface utilisateur simple pour l’ensemble du processus d’intégration de données tierces.
- Centre d’intégration ETL inclut un test d’intégration pour un petit ensemble de données à l’aide de la nouvelle carte de transformation ETL. Ce test vous permet d’examiner les résultats et d’ajuster les paramètres de configuration avant de planifier des intégrations récurrentes.
Conditions
- Application CMDB
- Nom du fournisseur tiers, par exemple SCCM 2019. Une application CMDB a deux attributs associés : Name et Discovery Source. Lors de la création d’une intégration, assurez-vous de configurer une source de détection pour l’application CMDB que vous prévoyez d’utiliser, avant d’utiliser le Centre d’intégration ETL.
- Source de données
- Le flux source, tel que l’identité d’ordinateur SCCM 7.0, à partir duquel les données sources brutes sont importées. Si vous utilisez différents points de terminaison REST pour différents types de données, chaque point de terminaison REST est associé à sa propre source de données et à une carte de transformation ETL.
- Carte de transformation ETL
- Sortie générée par Centre d’intégration ETL. Vous pouvez intégrer des données tierces dans la CMDB ou dans des tables non CMDB à l’aide d’une carte de transformation ETL configurée pour l’intégration respective.
- Données sources
- Données brutes d’origine qui ont été importées dans Centre d’intégration ETL. Les données sources peuvent être utilisées dans leur forme d’origine, ou vous pouvez transformer les données avant le mappage et l’intégration.
- Transformer
- Une opération que vous pouvez appliquer à une colonne de données spécifique pour transformer les valeurs de données. Par exemple, pour transformer le format des valeurs de données. Utilisez des transformations pour standardiser les formats de données et répondre à d’autres exigences système.
- Données transformées
- Certaines données sources peuvent ne pas être conformes aux exigences de leurs attributs et classes CMDB cibles ou de leurs tables non CMDB. Dans ce cas, vous pouvez appliquer différents types de transformations aux données sources, avant de mapper les données aux classes et attributs CMDB cibles ou aux tables non CMDB. Les transformations peuvent, par exemple, convertir le format des données, remplacer des valeurs et concaténer des valeurs à partir de plusieurs colonnes de données.
Chaque application CMDB peut avoir plusieurs connexions pour récupérer des données brutes. Chaque connexion utilisée pour récupérer un certain type de données possède sa propre paire de sources de données et une carte de transformation ETL. Par conséquent, une application CMDB peut avoir plusieurs cartes de transformation ETL, et chacune de ces cartes de transformation ETL est associée à une seule source de données.
| Application CMDB | Carte de transformation ETL | Source de données |
|---|---|---|
| SCCM | Identification de l’ordinateur SCCM | /sccm/2019/comp |
| Disque SCCM | /sccm/2019/disque | |
| Application SCCM | /sccm/2019/appl |
Charges utiles des données imbriquées
Pour traiter les charges utiles de données imbriquées, vous devez d’abord vous assurer que la source de données utilisée pour l’intégration est définie avec l’option Données dans une colonne unique . Avec ce paramètre, vous pouvez représenter correctement les données imbriquées dans une charge utile JSON qu’IntegrationHub ETL traite ensuite comme des données imbriquées, plutôt que comme des données plates.
{
"u_computer_fqdn": "computer2-fqdn",
"u_computer_id": 2,
"u_computer_ip": "computer2-ip",
"u_computer_location": "PDX",
"u_computer_mac": "computer2-mac",
"u_computer_name": "nested-payload-computer2",
"u_computer_os": "computer2-os",
"interfaces": [
{
"u_interface_ip": "computer2-eth1-ip",
"u_interface_mac": "computer2-eth1-mac",
"u_interface_name": "computer2-eth1",
"ip": ""
},
{
"u_interface_ip": "computer2-eth2-ip",
"u_interface_mac": "computer2-eth2-mac",
"u_interface_name": "computer2-eth2",
"ip": {
"u_ip_address": "computer2-eth2-ip",
"u_mac_address": "computer2-eth2-mac"
}
}
],
"software": [
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-1.0",
"instance": {
"u_software_instance_name": "computer2-software1-instance"
}
},
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-2.0",
"instance": {
"u_software_instance_name": "computer2-software2-instance"
}
}
]
},
Les noms de champs doivent commencer par une lettre (entre A-Z ou a-z) ou avec « _ », et doivent contenir uniquement des lettres (entre A-Z ou a-z), des chiffres (0-9) ou le caractère « _ ».
Par exemple, un nom de champ ne peut pas contenir de caractères spéciaux tels que *, [,], #, $, espaces et point.
- Les noms de champs ne peuvent pas être « temp » ou « object », qui sont réservés à un usage interne.
- Tout au long de la charge utile, vous devez utiliser un tableau ou un objet pour représenter les données d’un niveau spécifique, quel que soit le nombre d’éléments du niveau. Si vous utilisez un tableau pour plusieurs éléments dans un objet, vous devez également utiliser un tableau pour représenter un seul élément dans d’autres objets.
Pour une démonstration de l’utilisation des données de charge utile imbriquées, regardez la vidéo de démonstration de la fonctionnalité de charge utile imbriquée IntegrationHub - ETL sur la chaîne YouTube ServiceNow.