Centre d’intégration ETL (3.2)
Utilisez l’application du magasin Centre d’intégration ETL pour créer et gérer des cartes de transformation ETL, qui intègrent des données tierces dans la CMDB ou dans des tables non CMDB sans compromettre l’intégrité des données. Centre d’intégration ETL fournit une interface utilisateur simplifiée qui vous guide tout au long du processus d’intégration de bout en bout, y compris une exécution d’intégration de tests d’exemples de données.
Le module d’extension Centre d’intégration ETL (sn_int_studio) fournit la fonctionnalité Centre d’intégration ETL.
- Utilisez le tableau de bord des intégrations CMDB pour suivre la progression, les résultats et les erreurs associés à l’utilisation des intégrations personnalisées créées dans Centre d’intégration ETL. Le tableau de bord des intégrations CMDB est inclus dans l’application Communs d’intégration pour le magasin CMDB .
- Regarder le Centre d’intégration ETL | Importation de ressources dans la vidéo CMDB pour une présentation et une présentation de l’outil Centre d’intégration ETL.
Demander des applications dans l'App Store
Visitez le site Web ServiceNow Store pour découvrir toutes les applications disponibles et pour obtenir des informations sur la procédure à suivre pour soumettre des demandes à la boutique. Pour obtenir des informations sur les notes de publication cumulatives pour toutes les applications publiées, consultez les ServiceNow Storenotes de publication relatives à l'historique des versions.
Rôles requis
Les utilisateurs disposant du rôle cmdb_inst_admin peuvent utiliser Centre d’intégration ETL pour créer des intégrations ou personnaliser une intégration préexistante fournie par ServiceNow ou un fournisseur au ServiceNow Store. Un fournisseur peut créer une intégration et la fournir en tant qu’application pour que tout le monde puisse l’utiliser.
Prise en charge des tables non CMDB
À partir de la Xanadu version, Centre d’intégration ETL prend en charge l’intégration de données tierces dans certaines tables non-CMDB. Centre d’intégration ETL prend en charge les tables non-CMDB prises en charge par Identification et réconciliation (IRE). Pour plus d’informations sur les tables non CMDB prises en charge et sur toute configuration requise, reportez-vous à la section Prise en charge IRE pour les tables non CMDB.
- La spécification des associations de classes n’est pas obligatoire pour les tables non-CMDB.
- L’ajout de relations ne s’applique pas aux tables non CMDB.
- Les associations de classes pour une table non-CMDB sont basées sur un champ de référence au lieu d’une relation CMDB.
Processus
- Moteur de transformation robuste (RTE) : utilisé pour transformer les données sources brutes stockées dans les tables intermédiaires en données mappées et intégrées dans la CMDB. RTE utilise des cartes de transformation ETL qui ont été créées pour l’intégration lors de la transformation des données.
- Moteur Identification et réconciliation (IRE): utilisé comme cadre de travail centralisé pour les processus d’identification et de rapprochement entre différentes sources de données. Les processus IRE contribuent au maintien de l’intégrité des données dans la CMDB et dans les tables non CMDB prises en charge.
IntegrationHub ETL utilise RTE et IRE qui travaillent ensemble pour traiter et intégrer les données. Les données sont d’abord importées à partir d’une source de données, puis stockées dans des tables intermédiaires temporaires dans les systèmes Import Sets. À l’aide des données des tables intermédiaires et de la carte de transformation ETL créée par IntegrationHub ETL, RTE crée des charges utiles IRE qui sont ensuite traitées par IRE. IRE applique des processus de rapprochement pour éviter les problèmes potentiels tels que les CI en double, en veillant à ce que les tables CMDB ou non CMDB restent intègres, puis intègre les données résultantes.
Lorsque vous créez une intégration, vous importez des données sources, transformez les données si nécessaire et sélectionnez des classes CMDB (ou des tables non CMDB) cibles et des attributs auxquels mapper les données. Enfin, vous exécutez un test d’intégration des exemples de données, à l’aide de vos paramètres dans Centre d’intégration ETL. Vous pouvez ensuite prévisualiser les résultats des tests d’intégration et ajuster tous les paramètres avant de planifier des exécutions d’intégration récurrentes pour de grands ensembles de données. Si vous développez et testez la carte de transformation ETL sur une instance de développement, vous pouvez tester et ajuster la configuration avant son implémentation sur une instance de production.
Par exemple, vous pouvez intégrer des données à partir de SCCM (Microsoft System Center Configuration Manager).
Consultez la page communautaire IntegrationHub-Extract Tranform Load (IH-ETL) is GA dans ServiceNow Store pour obtenir une vue d’ensemble d’IntegrationHub ETL, y compris de ses composants et de son workflow.
Configuration guidée
Une configuration guidée organise toutes les tâches dans le bon ordre, suit l’achèvement des tâches et applique toutes les dépendances de tâches. Les tâches qui dépendent de l’achèvement d’autres tâches sont activées ou désactivées à mesure que vous utilisez l’outil et que vous terminez des tâches.
Mode lecture seule
Lors de l’ouverture d’un connecteur du graphe de services dans lequel Centre d’intégration ETL ne détecte aucune donnée entrante provenant de la source de données, l’intégration est disponible en mode lecture seule. En mode lecture seule, vous pouvez accéder à toutes les tâches de configuration guidée sur la page Assistant de carte de transformation ETL. Vous pouvez examiner tous les paramètres et définitions dans l’intégration, même si elle n’est pas remplie avec des données réelles. Toutefois, vous ne pouvez pas effectuer de mises à jour d’une connexion en lecture seule.
Le mode lecture seule est utile pour étudier une connexion existante dans le but de créer une nouvelle connexion similaire à la connexion en lecture seule. Le mode lecture seule peut également aider à résoudre les problèmes de connexion.
Centre d’intégration ETL et ensembles d’importation
- Les processus IRE (moteur Identification et rapprochement) sont intégrés dans Centre d’intégration ETL afin que toutes les données soient automatiquement traitées par IRE dans le cadre de l’intégration. L’utilisation de jeux d’importation et de cartes de transformation ne constitue pas un moyen simple d’appliquer les processus IRE.
- Centre d’intégration ETL utilise la configuration guidée qui fournit des conseils et une interface utilisateur simple pour l’ensemble du processus d’intégration des données tierces.
- Centre d’intégration ETL inclut un test d’intégration pour un petit ensemble de données à l’aide de la nouvelle carte de transformation ETL. Ce test vous permet d’examiner les résultats et d’ajuster les paramètres de configuration avant de planifier des intégrations récurrentes.
Conditions
- Application CMDB
- Nom du fournisseur tiers tel que SCCM 2019. Une application CMDB est associée à deux attributs : Name et Discovery Source. Lors de la création d’une intégration, assurez-vous de configurer une source de détection pour l’application CMDB que vous prévoyez d’utiliser avant d’utiliser Centre d’intégration ETL.
- Source de données
- Le flux source, tel que SCCM 7.0 Computer Identity, d’où les données sources brutes sont importées. Si vous utilisez différents points de terminaison REST pour différents types de données, chaque point de terminaison REST est associé à sa propre source de données et à une carte de transformation ETL.
- Carte de transformation ETL
- La sortie générée par Centre d’intégration ETL. Vous pouvez intégrer des données tierces dans la CMDB ou dans des tables non CMDB à l’aide d’une carte de transformation ETL configurée pour l’intégration respective.
- Données sources
- Données brutes d’origine qui ont été importées dans Centre d’intégration ETL. Les données sources peuvent être utilisées dans leur forme d’origine ou vous pouvez transformer les données avant le mappage et l’intégration.
- Transformer
- Opération que vous pouvez appliquer à une colonne de données spécifique pour transformer les valeurs de données. Par exemple, pour transformer le format des valeurs de données. Utilisez les transformations pour standardiser les formats de données et répondre à d’autres exigences système.
- Données transformées
- Certaines données sources peuvent ne pas être conformes aux exigences de leurs attributs et classes CMDB cibles ou des tables non CMDB. Dans ce cas, vous pouvez appliquer différents types de transformations aux données source, avant de mapper les données aux classes et attributs CMDB cibles ou à des tables non CMDB. Les transformations peuvent, par exemple, convertir un format de données, remplacer des valeurs et concaténer des valeurs de plusieurs colonnes de données.
Chaque application CMDB peut avoir plusieurs connexions pour récupérer des données brutes. Chaque connexion utilisée pour récupérer un certain type de données possède sa propre paire de sources de données et une carte de transformation ETL. Par conséquent, une application CMDB peut avoir plusieurs cartes de transformation ETL, et chacune de ces cartes de transformation ETL est associée à une source de données unique.
| Application CMDB | Carte de transformation ETL | Source de données |
|---|---|---|
| SCCM | Identification de l’ordinateur SCCM | /sccm/2019/comp |
| Disque SCCM | /sccm/2019/disque | |
| Application SCCM | /sccm/2019/appl |
Charges utiles des données imbriquées
Pour traiter des charges utiles de données imbriquées, vous devez d’abord vous assurer que la source de données utilisée pour l’intégration est définie avec l’option Données dans une seule colonne . Avec ce paramètre, vous pouvez représenter correctement les données imbriquées dans une charge utile JSON qu’IntegrationHub ETL traite ensuite comme des données imbriquées, plutôt que comme des données plates.
{
"u_computer_fqdn": "computer2-fqdn",
"u_computer_id": 2,
"u_computer_ip": "computer2-ip",
"u_computer_location": "PDX",
"u_computer_mac": "computer2-mac",
"u_computer_name": "nested-payload-computer2",
"u_computer_os": "computer2-os",
"interfaces": [
{
"u_interface_ip": "computer2-eth1-ip",
"u_interface_mac": "computer2-eth1-mac",
"u_interface_name": "computer2-eth1",
"ip": ""
},
{
"u_interface_ip": "computer2-eth2-ip",
"u_interface_mac": "computer2-eth2-mac",
"u_interface_name": "computer2-eth2",
"ip": {
"u_ip_address": "computer2-eth2-ip",
"u_mac_address": "computer2-eth2-mac"
}
}
],
"software": [
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-1.0",
"instance": {
"u_software_instance_name": "computer2-software1-instance"
}
},
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-2.0",
"instance": {
"u_software_instance_name": "computer2-software2-instance"
}
}
]
},
Les noms de champs doivent commencer par une lettre (entre A-Z ou a-z) ou avec « _ », et doivent contenir uniquement des lettres (entre A-Z ou a-z), des chiffres (0-9) ou le caractère « _ ».
Par exemple, un nom de champ ne peut pas contenir de caractères spéciaux tels que *, [,], #, $, espaces et point.
- Les noms de champs ne peuvent pas être « temp » ou « object », qui sont réservés à un usage interne.
- Tout au long de la charge utile, vous devez utiliser un tableau ou un objet pour représenter les données d’un niveau spécifique, quel que soit le nombre d’éléments dans le niveau. Si vous utilisez un tableau pour plusieurs éléments d’un objet, vous devez également utiliser un tableau pour représenter un seul élément dans d’autres objets.
Pour une démonstration sur l’utilisation de données de charge utile imbriquées, regardez la vidéo de démonstration de la fonctionnalité de charge utile imbriquée Integration Hub - ETL sur la chaîne YouTube de ServiceNow.