IntegrationHub ETL
Verwenden Sie die Store-App IntegrationHub ETL, um ETL-Transformationszuordnungen zu erstellen und zu verwalten, die Drittparteidaten in die CMDB oder in nicht-CMDB-Tabellen integrieren, ohne die Integrität der Daten zu gefährden. IntegrationHub ETL bietet eine vereinfachte Anwenderoberfläche, die Sie durchgehend durch den Integrationsprozess führt, einschließlich einer Testintegrationsausführung von Beispieldaten.
Das IntegrationHub ETL-Plugin (sn_int_Studio) stellt die IntegrationHub ETL-Funktionalität bereit.
- Verwenden Sie das Dashboard „CMDB-Integrationen“, um Fortschritt, Ergebnisse und Fehler im Zusammenhang mit der Verwendung anwenderdefinierter Integrationen nachzuverfolgen, die in IntegrationHub ETL erstellt wurden. Das Dashboard „CMDB-Integrationen“ ist in enthalten Integration Commons für CMDB Store-App.
- Beobachten Sie IntegrationHub ETL | Ressourcen werden in die CMDB importiert Video für eine Einführung und einen Rundgang durch das IntegrationHub ETL-Tool.
Apps im Store anfordern
Besuchen Sie die ServiceNow Store-Website, um alle verfügbaren Apps anzuzeigen und Informationen zum Senden von Anforderungen an den Store zu erhalten. Kumulative Informationen zum Release für alle veröffentlichten Apps finden Sie in den Release-Hinweisen zum ServiceNow Store-Versionsverlauf.
Erforderliche Rollen
Benutzer mit der Rolle cmdb_inst_admin können IntegrationHub ETL verwenden, um Integrationen zu erstellen oder eine bereits vorhandene Integration anzupassen, die von bereitgestellt wird ServiceNow Oder ein Lieferant bei ServiceNow Store. Ein Lieferant kann eine neue Integration erstellen und sie als Anwendung bereitstellen, die jeder verwenden kann.
Unterstützung für nicht-CMDB-Tabellen
Beginnend mit Zurich Release unterstützt IntegrationHub ETL die Integration von Drittparteidaten in einige nicht-CMDB-Tabellen. IntegrationHub ETL unterstützt nicht-CMDB-Tabellen, die von Identification and Reconciliation (IRE) unterstützt werden. Weitere Informationen darüber, welche nicht-CMDB-Tabellen unterstützt werden, und über die erforderliche Konfiguration finden Sie unter IRE-Unterstützung für nicht-CMDB-Tabellen.
- Die Angabe von Klassenzuordnungen ist für nicht-CMDB-Tabellen nicht obligatorisch.
- Das Hinzufügen von Beziehungen gilt nicht für nicht-CMDB-Tabellen.
- Klassenzuordnungen für eine nicht-CMDB-Tabelle basieren auf einem Referenzfeld anstelle einer CMDB-Beziehung.
Prozess
- Robuste Transformations-Engine (RTE) : Wird verwendet, um Rohquelldaten, die in Bereitstellungstabellen gespeichert sind, in die Daten umzuwandeln, die zugeordnet und in die CMDB integriert sind. RTE verwendet ETL-Transformationszuordnungen, die während der Datentransformation für die Integration erstellt wurden.
- Identification and Reconciliation Engine (IRE): Wird als zentralisiertes Framework für Identifizierungs- und Abgleichsprozesse in verschiedenen Datenquellen verwendet. IRE-Prozesse helfen, die Datenintegrität in der CMDB und in unterstützten nicht-CMDB-Tabellen aufrechtzuerhalten.
IntegrationHub ETL verwendet RTE und IRE, die zusammenarbeiten, um Daten zu verarbeiten und zu integrieren. Daten werden zuerst aus einer Datenquelle importiert und dann in temporären Bereitstellungstabellen in Importsatzsystemen gespeichert. Mithilfe der Daten in den Bereitstellungstabellen und der von IntegrationHub ETL erstellten ETL-Transformationszuordnung erstellt RTE IRE-Nutzlasten, die dann von IRE verarbeitet werden. IRE wendet Abgleichsprozesse an, um potenzielle Probleme wie doppelte CIs zu vermeiden, um sicherzustellen, dass die CMDB- oder nicht-CMDB-Tabellen fehlerfrei bleiben, und integriert dann die resultierenden Daten.
Wenn Sie eine Integration erstellen, importieren Sie Quelldaten, wandeln Daten bei Bedarf um, und wählen Sie CMDB-Zielklassen (oder nicht-CMDB-Tabellen) und Attribute aus, denen die Daten zugeordnet werden sollen. Schließlich führen Sie einen Integrationstest der Beispieldaten mithilfe Ihrer Einstellungen in IntegrationHub ETL aus. Sie können dann eine Vorschau der Integrationstestergebnisse anzeigen und alle Einstellungen anpassen, bevor Sie wiederkehrende Integrationsausführungen für große Datensätze planen. Wenn Sie die ETL-Transformationszuordnung auf einer Entwicklungsinstanz entwickeln und testen, können Sie die Konfiguration vor der Implementierung in einer Produktionsinstanz testen und anpassen.
Sie können beispielsweise Daten aus SCCM (Microsoft System Center Configuration Manager) integrieren.
Weitere Informationen finden Sie auf der Community-Seite IntegrationHub-Extrahieren der Transformationslast (IH-ETL) ist GA im ServiceNow Store Für einen Überblick über IntegrationHub ETL, einschließlich der Komponenten und des Workflows.
Geführtes Setup
Ein geführtes Setup organisiert alle Aufgaben in der richtigen Reihenfolge, verfolgt den Abschluss von Aufgaben und erzwingt alle Aufgabenabhängigkeiten. Aufgaben, die vom Abschluss anderer Aufgaben abhängen, werden aktiviert oder deaktiviert, wenn Sie das Tool durchlaufen und Aufgaben abschließen.
Schreibgeschützter Modus
Beim Öffnen eines Service Graph Connector, in dem IntegrationHub ETL keine eingehenden Daten aus der Datenquelle erkennt, ist die Integration im schreibgeschützten Modus verfügbar. Im schreibgeschützten Modus können Sie auf alle geführten Setup-Aufgaben auf der Seite „ETL-Umwandlungszuordnungsassistent“ zugreifen. Sie können alle Einstellungen und Definitionen in der Integration überprüfen, auch wenn sie nicht mit tatsächlichen Daten gefüllt ist. Sie können jedoch keine Aktualisierungen an einer schreibgeschützten Verbindung vornehmen.
Der schreibgeschützte Modus ist nützlich, um eine vorhandene Verbindung zu untersuchen, um eine neue Verbindung zu erstellen, die der schreibgeschützten Verbindung ähnelt. Der schreibgeschützte Modus kann auch bei der Behebung von Problemen mit der Verbindung helfen.
IntegrationHub ETL und Importsätze
- Prozesse der Identification and Reconciliation Engine (IRE) sind in die IntegrationHub ETL integriert, sodass alle Daten automatisch von IRE im Rahmen der Integration verarbeitet werden. Die Verwendung von Importsätzen und Transformationszuordnungen bietet keine einfache Möglichkeit, IRE-Prozesse anzuwenden.
- IntegrationHub ETL verwendet das geführte Setup, das Anleitungen und eine einfache Anwenderoberfläche für den gesamten Prozess der Integration von Drittparteidaten bietet.
- IntegrationHub ETL enthält einen Integrationstest für einen kleinen Datensatz mit der neuen ETL-Transformationszuordnung. Mit diesem Test können Sie die Ergebnisse überprüfen und Konfigurationseinstellungen anpassen, bevor Sie wiederkehrende Integrationen planen.
Bedingungen
- CMDB-Anwendung
- Name des Drittparteilieferanten, z. B. SCCM 2019. Eine CMDB-Anwendung hat zwei zugeordnete Attribute: NameUnd Discovery Source. Stellen Sie beim Erstellen einer neuen Integration sicher, dass Sie eine Discovery-Quelle für die CMDB-Anwendung konfigurieren, die Sie verwenden möchten, bevor Sie IntegrationHub ETL verwenden.
- Datenquelle
- Der Quell-Feed, z. B. SCCM 7,0-Computeridentität, aus dem die Rohquelldaten importiert werden. Wenn Sie verschiedene REST-Endpunkte für verschiedene Datentypen verwenden, wird jeder REST-Endpunkt einer eigenen Datenquelle und einer ETL-Transformationszuordnung zugeordnet.
- ETL-Transformationszuordnung
- Die von IntegrationHub ETL generierte Ausgabe. Sie können Drittparteidaten in die CMDB oder in nicht-CMDB-Tabellen integrieren, indem Sie eine ETL-Transformationszuordnung verwenden, die für die jeweilige Integration konfiguriert ist.
- Quelldaten
- Ursprüngliche Rohdaten, die in IntegrationHub ETL importiert wurden. Quelldaten können in ihrer ursprünglichen Form verwendet werden, oder Sie können die Daten vor der Zuordnung und Integration umwandeln.
- Umwandeln
- Ein Vorgang, den Sie auf eine bestimmte Datenspalte anwenden können, um die Datenwerte zu transformieren. Beispiel: Um das Format der Datenwerte zu transformieren. Verwenden Sie Transformationen, um Datenformate zu standardisieren und andere Systemanforderungen zu erfüllen.
- Transformierte Daten
- Einige der Quelldaten entsprechen möglicherweise nicht den Anforderungen ihrer Ziel-CMDB-Attribute und -Klassen oder nicht-CMDB-Tabellen. In diesen Fällen können Sie verschiedene Arten von Transformationen auf die Quelldaten anwenden, bevor Sie die Daten den Ziel-CMDB-Klassen und -Attributen oder nicht-CMDB-Tabellen zuordnen. Transformationen können beispielsweise Datenformat konvertieren, Werte ersetzen und Werte aus mehreren Datenspalten verketten.
Jede CMDB-Anwendung kann mehrere Verbindungen zum Abrufen von Rohdaten haben. Jede Verbindung, die zum Abrufen eines bestimmten Datentyps verwendet wird, verfügt über ein eigenes Datenquellenpaar und eine ETL-Transformationszuordnung. Daher kann eine CMDB-Anwendung mehrere ETL-Transformationszuordnungen haben, und jede dieser ETL-Transformationszuordnungen ist einer einzelnen Datenquelle zugeordnet.
| CMDB-Anwendung | ETL-Transformationszuordnung | Datenquelle |
|---|---|---|
| SCCM | SCCM-Computer identifizieren | /sccm/2019/comp |
| SCCM-Datenträger | /sccm/2019/Disk | |
| SCCM-Anwendung | /sccm/2019/appl |
Geschachtelte Datennutzlasten
Um geschachtelte Datennutzlasten zu verarbeiten, müssen Sie zuerst sicherstellen, dass die für die Integration verwendete Datenquelle mit festgelegt ist Daten in einer Spalte Option. Mit dieser Einstellung können Sie geschachtelte Daten in einer JSON-Nutzlast korrekt darstellen, die IntegrationHub ETL dann als geschachtelte Daten verarbeitet und nicht als Flat Data.
{
"u_computer_fqdn": "computer2-fqdn",
"u_computer_id": 2,
"u_computer_ip": "computer2-ip",
"u_computer_location": "PDX",
"u_computer_mac": "computer2-mac",
"u_computer_name": "nested-payload-computer2",
"u_computer_os": "computer2-os",
"interfaces": [
{
"u_interface_ip": "computer2-eth1-ip",
"u_interface_mac": "computer2-eth1-mac",
"u_interface_name": "computer2-eth1",
"ip": ""
},
{
"u_interface_ip": "computer2-eth2-ip",
"u_interface_mac": "computer2-eth2-mac",
"u_interface_name": "computer2-eth2",
"ip": {
"u_ip_address": "computer2-eth2-ip",
"u_mac_address": "computer2-eth2-mac"
}
}
],
"software": [
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-1.0",
"instance": {
"u_software_instance_name": "computer2-software1-instance"
}
},
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-2.0",
"instance": {
"u_software_instance_name": "computer2-software2-instance"
}
}
]
},
Feldnamen müssen mit einem Buchstaben (zwischen A–Z oder a–z) oder mit „_“ beginnen und dürfen nur Buchstaben (zwischen A–Z oder a–z), Ziffern (0–9) oder das Zeichen „_“ enthalten.
Ein Feldname darf beispielsweise keine Sonderzeichen wie *, [,], #, $, Leerzeichen enthalten. und Punkt.
- Feldnamen dürfen nicht „Temp“ oder „object“ sein, die für die interne Verwendung reserviert sind.
- Sie müssen in der gesamten Nutzlast unabhängig von der Anzahl der Elemente auf der Ebene ein Array oder ein Objekt verwenden, um Daten auf einer bestimmten Ebene darzustellen. Wenn Sie ein Array für mehrere Elemente in einem Objekt verwenden, müssen Sie auch ein Array verwenden, um ein einzelnes Element in anderen Objekten darzustellen.
Eine Demo zum Arbeiten mit geschachtelten Nutzlastdaten finden Sie im Integrations-Hub: Demo der geschachtelten ETL-Nutzlastfunktion Video im ServiceNow-YouTube-Kanal.