Gleichzeitige Importe
Teilen Sie eingehende Daten in mehrere Importsätze auf und wandeln Sie die Importsätze gleichzeitig um, um die Verarbeitungszeit zu verkürzen.
Das Ausführen eines gleichzeitigen Imports kann hilfreich sein, wenn die Reihenfolge keine Rolle spielt und der Import aufgrund großer Datensätze mit zeitaufwändigen Skripts lange dauert. Wenn die Reihenfolge wichtig ist, können Sie den Import in mehrere Partitionen aufteilen, um sicherzustellen, dass jede Partition der Reihe nach verarbeitet wird.
Aktivieren Sie gleichzeitige Importe erst, nachdem alle anderen Parameter wie Datenbankindizes und Transformationen optimiert wurden.
Gleichzeitige Importe planen
Sie aktivieren gleichzeitige Importe, indem Sie „Gleichzeitiger Import“ im Formular „Geplanter Datenimport“ auswählen. Anweisungen dazu finden Sie unter Datenimport planen.
Wenn der Zeitplan einen gleichzeitigen Import ausführt, ruft das System die Daten aus Datenbanken, Excel-Tabellen, CSV-Dateien oder anderen Quellen in eine temporäre Bereitstellungstabelle ab und wandelt die Daten dann aus der Bereitstellungstabelle in die Zieltabelle um.
Wenn Sie einen gleichzeitigen Import ausführen, erstellt das System mehrere Importsätze bis zum Wert der Systemeigenschaft glide.scheduled_import.max.concurrent.import_sets (Standard = 10). Beispielsweise erzeugt ein Cluster mit zwei Knoten vier Importsätze, und ein Cluster mit zehn Knoten erzeugt zehn Importsätze.
Importsatz-Umwandlerauftrag
Jeder aktive Knoten führt pro Minute zwei Importsatz-Umwandleraufträge aus. Diese Aufträge fragen die Warteschlange für die gleichzeitigen Importsatz-Aufträge ab, wählen Importsätze aus der Warteschlange aus und transformieren diese Importsätze. Alle Aufträge werden je nach Verfügbarkeit der Worker-Threads gleichzeitig ausgeführt.
Datensatz des gleichzeitigen Importsatzes
Jeder gleichzeitige Importsatz erstellt einen Datensatz für einen gleichzeitigen Importsatz. Die Formularansicht zeigt alle zugehörigen Importsätze, gleichzeitigen Importsatz-Aufträge und Transformationsverläufe.
Sie können jeden Importsatz fortsetzen oder erneut verarbeiten. Weitere Informationen finden Sie unter Gleichzeitige Importsätze überwachen.
Warteschlange für gleichzeitig ausgeführte Importsätze
Nach dem Laden der Daten fügt das System die Importsätze der Tabelle „Gleichzeitige Importsatzaufträge“ hinzu. Die Tabelle „Gleichzeitige Importsatz-Aufträge“ gibt den Auftragstyp und den Status jedes gleichzeitigen Importsatz-Auftrags an.
Weitere Informationen finden Sie unter Überwachen Sie gleichzeitig ausgeführte Importsatzaufträge.
Gleichzeitige Importe werden partitioniert
Sie können Importsätze partitionieren, um die Verarbeitungsreihenfolge innerhalb jeder Partition beizubehalten.
Standardmäßig weist das System Datensätze zu Importsätzen im Round-Robin-Verfahren zu. Sie können jedoch ein anwenderdefiniertes Skript schreiben, um einen anwenderdefinierten Partitionsschlüssel zu definieren, der den Zielimportsatz identifiziert. Jede Zeile mit demselben Partitionsschlüssel wird demselben Importsatz hinzugefügt, und die Daten in diesem Importsatz werden in sequenzieller Reihenfolge verarbeitet.
Hierarchische Importe
Sie können eine Hierarchie geplanter Importsätze erstellen, indem Sie einen Import so planen, dass er nach Abschluss eines anderen Importsatzes ausgeführt wird. Ein übergeordneter geplanter Import kann viele untergeordnete geplante Importe haben, und jeder untergeordnete geplante Import wird in der angegebenen Reihenfolge ausgeführt. Bei gleichzeitigen geplanten Importen können untergeordnete geplante Importe erst gestartet werden, nachdem alle Importsatz-Umwandleraufträge abgeschlossen sind.
Der letzte Importsatz-Umwandlerauftrag startet den nächsten Import in der Hierarchie.
Das System generiert zu Beginn des übergeordneten Importprozesses einen Ausführungsplan. Jeder Importprozess verwendet den Ausführungsplan, um den nächsten aufzurufenden Prozess abzurufen. Bei gleichzeitigen Importen ruft der letzte Importsatz-Umwandlerauftrag den nächsten Import ab und führt ihn aus.
Synchronisierte Einfügungen
Zusammenfügungsfelder helfen bei der Definition der Eindeutigkeit zwischen Datensätzen. Der Transformationsprozess sucht nach einem vorhandenen Datensatz mit den zusammengefügten Werten und aktualisiert den vorhandenen Datensatz, falls er vorhanden ist, oder fügt einen neuen Datensatz ein, wenn keiner vorhanden ist. Weitere Informationen finden Sie unter Datensätze werden durch Zusammenfügung aktualisiert.
Standardmäßig erlauben die gleichzeitigen Importe, dass jeder laufende Importsatz neue Datensätze einfügt. Wenn ein Importsatz einen Datensatz einfügt, richtet er eine Schreibsperre für die Zieltabelle ein, um zu verhindern, dass andere Importsätze denselben Datensatz einfügen.
Tabellen für gleichzeitige Importe
| Tabelle | Beschreibung |
|---|---|
| Gleichzeitiger Importsatz (sys_concurrent_import_set) | Speichert Details jedes gleichzeitigen Importsatzes in Importsatz-Datensätzen. |
| Gleichzeitig ausgeführte Importsatz-Aufträge (sys_concurrent_import_set_job) | Listet die zu verarbeitenden Importsätze auf. |
| Ausführungskontext für geplanten Import (sys_execution_context) | Gibt den Ausführungskontext für jeden geplanten Import an Der Ausführungskontext gibt den nächsten geplanten Import an, der bei der Verarbeitung eines hierarchischen geplanten Imports verwendet werden soll. |
| Ausführungsplan für hierarchischen geplanten Import (sys_execution_plan) | Speichert den Ausführungsplan für hierarchische Importe. Der Ausführungsplan hat eine Baumstruktur, die identifiziert, welcher geplante Import nach der vorhergehenden geplanten Eingabe ausgeführt wird. |
Domain Separation mit gleichzeitigen Importen
Sie können das Feld „sys_domain“ einer geplanten Importtabelle hinzufügen, um die Domänentrennung für den Importsatz zu aktivieren. Sowohl der Importsatz-Lade- als auch der Transformationsauftrag werden in der Domäne ausgeführt, die im geplanten Importsatz-Auftrag angegeben ist.