IntegrationHub ETL (3.2)
Verwenden Sie die ETL-Store-App IntegrationHub zum Erstellen und Verwalten von ETL-Transformationszuordnungen, die Daten von Drittanbietern in die CMDB oder Nicht-CMDB-Tabellen integrieren, ohne die Integrität der Daten zu beeinträchtigen. IntegrationHub ETL bietet eine vereinfachte Anwenderoberfläche, die Sie durch den End-to-End-Integrationsprozess führt, einschließlich einer Testintegrationsausführung mit Beispieldaten.
Das Plugin „IntegrationHub ETL“ (sn_int_studio) stellt die IntegrationHub ETL-Funktionalität bereit.
- Verwenden Sie das Dashboard für CMDB-Integrationen, um den Fortschritt, die Ergebnisse und die Fehler im Zusammenhang mit der Verwendung von in IntegrationHub ETL erstellten anwenderdefinierten Integrationen zu verfolgen. Das Dashboard für CMDB-Integrationen ist in der Store-App Integration Common für CMDB enthalten.
- IntegrationHub ETL | anschauen Importieren von Ressourcen in das CMDB -Video für eine Einführung und Tour durch das IntegrationHub ETL-Tool.
Apps im Store anfordern
Besuchen Sie die ServiceNow Store-Website, um alle verfügbaren Apps anzuzeigen und Informationen zum Senden von Anforderungen an den Store zu erhalten. Kumulative Informationen zum Release für alle veröffentlichten Apps finden Sie in den Release-Hinweisen zum ServiceNow Store-Versionsverlauf.
Erforderliche Rollen
Benutzer mit der Rolle cmdb_inst_admin können mit IntegrationHub ETL -Integrationen erstellen oder eine bereits vorhandene Integration anpassen, die von ServiceNow oder einem Lieferanten unter ServiceNow Storebereitgestellt wird. Ein Lieferant kann eine neue Integration erstellen und sie als Anwendung bereitstellen, die von jedem verwendet werden kann.
Unterstützung für Nicht-CMDB-Tabellen
Ab Release Yokohama unterstützt IntegrationHub ETL die Integration von Daten von Drittanbietern in einige Nicht-CMDB-Tabellen. IntegrationHub ETL unterstützt die Nicht-CMDB-Tabellen, die von Identification and Reconciliation (IRE) unterstützt werden. Einzelheiten dazu, welche Nicht-CMDB-Tabellen unterstützt werden und welche Konfigurationen erforderlich sind, finden Sie unter IRE-Unterstützung für Nicht-CMDB-Tabellen.
- Die Angabe von Klassenzuordnungen ist für Nicht-CMDB-Tabellen nicht obligatorisch.
- Das Hinzufügen von Beziehungen gilt nicht für Nicht-CMDB-Tabellen.
- Klassenzuordnungen für eine Nicht-CMDB-Tabelle basieren auf einem Referenzfeld anstelle einer CMDB-Beziehung.
Prozess
- Robust Transform Engine (RTE): Wird verwendet, um Rohquelldaten, die in Bereitstellungstabellen gespeichert sind, in Daten umzuwandeln, die zugeordnet und in die CMDB integriert werden. RTE verwendet ETL-Transformationszuordnungen, die während der Datentransformation für die Integration erstellt wurden.
- Identification and Reconciliation Engine (IRE): Wird als zentralisiertes Framework für Identifizierungs- und Abgleichprozesse für verschiedene Datenquellen verwendet. IRE-Prozesse tragen zur Aufrechterhaltung der Datenintegrität in der CMDB und in unterstützten Nicht-CMDB-Tabellen bei.
IntegrationHub ETL verwendet RTE und IRE, die zusammenarbeiten, um Daten zu verarbeiten und zu integrieren. Daten werden zuerst aus einer Datenquelle importiert und dann in temporären Bereitstellungstabellen in Importsatz-Systemen gespeichert. Unter Verwendung der Daten in den Bereitstellungstabellen und der von IntegrationHub ETL erstellten ETL-Transformationszuordnung erstellt RTE IRE-Nutzlasten, die dann von IRE verarbeitet werden. IRE wendet Abgleichprozesse an, um potenzielle Probleme wie doppelte CIs zu vermeiden, stellt sicher, dass die CMDB- und Nicht-CMDB-Tabellen fehlerfrei bleiben, und integriert dann die resultierenden Daten.
Wenn Sie eine Integration erstellen, importieren Sie Quelldaten, transformieren Daten bei Bedarf und wählen CMDB-Zielklassen (oder Nicht-CMDB-Tabellen) und Attribute aus, denen die Daten zugeordnet werden sollen. Schließlich führen Sie einen Integrationstest der Beispieldaten mit Ihren Einstellungen in IntegrationHub ETL durch. Sie können dann eine Vorschau der Integrationstestergebnisse anzeigen und alle Einstellungen anpassen, bevor Sie wiederkehrende Integrationsausführungen für große Datensätze planen. Wenn Sie die -ETL-Transformationszuordnung in einer Entwicklungsinstanz entwickeln und testen, können Sie die Konfiguration vor der Implementierung in einer Produktionsinstanz testen und anpassen.
Sie können beispielsweise Daten aus SCCM (Microsoft System Center Configuration Manager) integrieren.
Eine Übersicht über IntegrationHub ETL, einschließlich der Komponenten und des Workflows, finden Sie auf der Community-Seite „IntegrationHub – Extrahierte Transformationslast (IH-ETL) ist GA“ im ServiceNow Store.
Geführtes Setup
Ein geführtes Setup organisiert alle Aufgaben in der richtigen Reihenfolge, verfolgt den Abschluss von Aufgaben und erzwingt alle Aufgabenabhängigkeiten. Aufgaben, die vom Abschluss anderer Aufgaben abhängen, werden aktiviert oder deaktiviert, wenn Sie das Tool durchlaufen und Aufgaben abschließen.
Schreibgeschützter Modus
Beim Öffnen eines Service Graph Connectors, in dem IntegrationHub ETL keine eingehenden Daten aus der Datenquelle erkennt, ist die Integration im schreibgeschützten Modus verfügbar. Im schreibgeschützten Modus können Sie auf alle Aufgaben des geführten Setups auf der Seite „Assistent für ETL-Transformationszuordnung“ zugreifen. Sie können alle Einstellungen und Definitionen in der Integration überprüfen, auch wenn sie nicht mit tatsächlichen Daten gefüllt ist. Sie können jedoch keine Updates an einer schreibgeschützten Verbindung vornehmen.
Der schreibgeschützte Modus ist nützlich, um eine vorhandene Verbindung zu untersuchen und eine neue Verbindung zu erstellen, die der schreibgeschützten Verbindung ähnelt. Der schreibgeschützte Modus kann auch bei der Behebung von Problemen mit der Verbindung helfen.
IntegrationHub ETL und Importsätze
- IRE-Prozesse (Identification and Reconciliation Engine) sind in IntegrationHub ETL integriert, sodass alle Daten automatisch von IRE als Teil der Integration verarbeitet werden. Die Verwendung von Importsätzen und Transformationszuordnungen bietet keine einfache Möglichkeit, IRE-Prozesse anzuwenden.
- IntegrationHub ETL verwendet ein geführtes Setup, das Anleitungen und eine einfache Anwenderoberfläche für den gesamten Prozess der Integration von Daten von Drittparteien bietet.
- IntegrationHub ETL enthält einen Integrationstest für einen kleinen Datensatz mit der neuen ETL-Transformationszuordnung. Mit diesem Test können Sie die Ergebnisse überprüfen und Konfigurationseinstellungen anpassen, bevor Sie wiederkehrende Integrationen planen.
Bedingungen
- CMDB-Anwendung
- Name des Drittanbieters, z. B. SCCM 2019. Einer CMDB-Anwendung sind zwei Attribute zugeordnet: Name und Discovery Source. Wenn Sie eine neue Integration erstellen, müssen Sie eine Discovery-Quelle für die CMDB-Anwendung konfigurieren, die Sie verwenden möchten, bevor Sie IntegrationHub ETL verwenden.
- Datenquelle
- Der Quell-Feed, z. B. SCCM 7.0 Computer Identity, aus dem die Rohquelldaten importiert werden. Wenn Sie verschiedene REST-Endpunkte für verschiedene Datentypen verwenden, wird jeder REST-Endpunkt mit einer eigenen Datenquelle und einer ETL-Transformationszuordnung verknüpft.
- ETL-Transformationszuordnung
- Die von IntegrationHub ETL generierte Ausgabe. Sie können Daten von Drittparteien mithilfe einer ETL-Transformationszuordnung, die für die jeweilige Integration konfiguriert ist, in die CMDB oder in Nicht-CMDB-Tabellen integrieren.
- Quelldaten
- Ursprüngliche Rohdaten, die in IntegrationHub ETL importiert wurden. Quelldaten können in ihrer ursprünglichen Form verwendet werden, oder Sie können die Daten vor der Zuordnung und Integration umwandeln.
- Umwandeln
- Ein Vorgang, den Sie auf eine bestimmte Datenspalte anwenden können, um die Datenwerte zu transformieren. Um beispielsweise das Format der Datenwerte zu transformieren. Verwenden Sie Transformationen, um Datenformate zu standardisieren und andere Systemanforderungen zu erfüllen.
- Transformierte Daten
- Einige der Quelldaten entsprechen möglicherweise nicht den Anforderungen ihrer Ziel-CMDB-Attribute und -Klassen oder Nicht-CMDB-Tabellen. In diesen Fällen können Sie verschiedene Arten von Transformationen auf die Quelldaten anwenden, bevor Sie die Daten den Ziel-CMDB-Klassen und -Attributen oder Nicht-CMDB-Tabellen zuordnen. Transformationen können beispielsweise das Datenformat konvertieren, Werte ersetzen und Werte aus mehreren Datenspalten verketten.
Jede CMDB-Anwendung kann mehrere Verbindungen zum Abrufen von Rohdaten haben. Jede Verbindung, die zum Abrufen eines bestimmten Datentyps verwendet wird, verfügt über ein eigenes Paar aus Datenquelle und ETL-Transformationszuordnung. Daher kann eine CMDB-Anwendung mehrere ETL-Transformationszuordnungen haben, und jede dieser ETL-Transformationszuordnungen ist einer einzelnen Datenquelle zugeordnet.
| CMDB-Anwendung | ETL-Transformationszuordnung | Datenquelle |
|---|---|---|
| SCCM | SCCM-Computeridentifizierung | /sccm/2019/comp |
| SCCM-Datenträger | /sccm/2019/disk | |
| SCCM-Anwendung | /sccm/2019/appl |
Geschachtelte Datennutzlasten
Um geschachtelte Datennutzlasten zu verarbeiten, müssen Sie zuerst sicherstellen, dass für die Datenquelle, die für die Integration verwendet wird, die Option Daten in einzelner Spalte festgelegt ist. Mit dieser Einstellung können Sie geschachtelte Daten in einer JSON-Nutzlast korrekt darstellen, die IntegrationHub ETL dann als geschachtelte Daten und nicht als flache Daten verarbeitet.
{
"u_computer_fqdn": "computer2-fqdn",
"u_computer_id": 2,
"u_computer_ip": "computer2-ip",
"u_computer_location": "PDX",
"u_computer_mac": "computer2-mac",
"u_computer_name": "nested-payload-computer2",
"u_computer_os": "computer2-os",
"interfaces": [
{
"u_interface_ip": "computer2-eth1-ip",
"u_interface_mac": "computer2-eth1-mac",
"u_interface_name": "computer2-eth1",
"ip": ""
},
{
"u_interface_ip": "computer2-eth2-ip",
"u_interface_mac": "computer2-eth2-mac",
"u_interface_name": "computer2-eth2",
"ip": {
"u_ip_address": "computer2-eth2-ip",
"u_mac_address": "computer2-eth2-mac"
}
}
],
"software": [
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-1.0",
"instance": {
"u_software_instance_name": "computer2-software1-instance"
}
},
{
"u_software_name": "computer2-software2",
"u_software_version": "computer2-software2-2.0",
"instance": {
"u_software_instance_name": "computer2-software2-instance"
}
}
]
},
Feldnamen müssen mit einem Buchstaben (A-Z oder az) oder mit „_“ beginnen und dürfen nur Buchstaben (A-Z oder az), Ziffern (0–9) oder das Zeichen „_“ enthalten.
Beispielsweise darf ein Feldname keine Sonderzeichen wie *, [,], #, $, Leerzeichen und Punkt enthalten.
- Feldnamen dürfen nicht „temp“ oder „object“ sein, die für die interne Verwendung reserviert sind.
- Sie müssen in der gesamten Nutzlast konsistent ein Array oder ein Objekt verwenden, um Daten auf einer bestimmten Ebene darzustellen, unabhängig von der Anzahl der Elemente auf der Ebene. Wenn Sie ein Array für mehrere Elemente in einem Objekt verwenden, müssen Sie auch ein Array verwenden, um ein einzelnes Element in anderen Objekten darzustellen.
Eine Demo zur Arbeit mit geschachtelten Nutzlastdaten finden Sie im Demovideo zur Funktion Integration Hub - ETL geschachtelte Nutzlast im YouTube-Kanal von ServiceNow.