Gleichzeitige Importe
Teilen Sie eingehende Daten in mehrere Importsätze auf, und transformieren Sie die Importsätze gleichzeitig, um die Verarbeitungszeit zu reduzieren.
Das Ausführen eines gleichzeitigen Imports kann hilfreich sein, wenn die Reihenfolge nicht wichtig ist und Importe aufgrund großer Datensätze mit zeitaufwändigen Skripts lange dauern. Wenn die Reihenfolge wichtig ist, können Sie den Import in mehrere Partitionen aufteilen, um sicherzustellen, dass jede Partition in der Reihenfolge verarbeitet wird.
Aktivieren Sie gleichzeitige Importe nur, nachdem Sie alle anderen Parameter wie Datenbankindizes und Transformationen optimiert haben.
Gleichzeitige Importe werden geplant
Sie aktivieren gleichzeitige Importe, indem Sie auswählen Gleichzeitiger Import Im Formular „Geplanter Datenimport“. Anweisungen dazu finden Sie unter Datenimport planen.
Wenn der Zeitplan einen gleichzeitigen Import ausführt, ruft das System die Daten aus Datenbanken, Excel-Tabellen, CSV-Dateien oder anderen Quellen in eine temporäre Bereitstellungstabelle ab und wandelt die Daten dann aus der Bereitstellungstabelle in die Zieltabelle um.
Wenn Sie einen gleichzeitigen Import ausführen, erstellt das System mehrere Importsätze bis zum Wert von glide.scheduled_import.max.concurrent.import_setsSystemeigenschaft (Standard = 10). Beispielsweise erstellt ein Cluster mit zwei Knoten vier Importsätze, und ein Cluster mit zehn Knoten erstellt zehn Importsätze.
Importsatz-Umwandler-Auftrag
Jeder aktive Knoten führt jede Minute zwei Importsatz-Umwandler-Aufträge aus, und diese Aufträge fragen die Warteschlange für gleichzeitige Importsätze ab, wählen Importsätze aus der Warteschlange aus und transformieren diese Importsätze. Je nach Verfügbarkeit von Worker-Threads werden alle Aufträge gleichzeitig ausgeführt.
Gleichzeitiger Importsatz-Datensatz
Bei jedem gleichzeitigen Import wird ein gleichzeitiger Importsatz-Datensatz erstellt. In der Formularansicht werden alle zugehörigen Importsätze, gleichzeitigen Importsatzaufträge und Transformationsverläufe angezeigt.
Sie können jeden Importsatz fortsetzen oder erneut verarbeiten. Weitere Informationen finden Sie unter Überwachen Sie gleichzeitige Importsätze.
Warteschlange für gleichzeitige Importsätze
Nach dem Laden der Daten fügt das System die Importsätze der Tabelle „gleichzeitige Importsätze – Aufträge“ hinzu. Die Tabelle „gleichzeitige Importsatzaufträge“ zeigt den Auftragstyp und den Status jedes gleichzeitigen Importsatzauftrags an.
Weitere Informationen finden Sie unter Überwachen Sie gleichzeitige Importsatzaufträge.
Partitionierung gleichzeitiger Importe
Sie können Importsätze partitionieren, um die Verarbeitungsreihenfolge innerhalb jeder Partition beizubehalten.
Standardmäßig ordnet das System Datensätze zu Importsätzen in Round-robin-Art zu. Sie können jedoch ein anwenderdefiniertes Skript schreiben, um ein anwenderdefiniertes Skript zu definieren Partitionsschlüssel Der den Zielimportsatz identifiziert. Jede Zeile mit demselben Partitionsschlüssel wird demselben Importsatz hinzugefügt, und die Daten in diesem Importsatz werden sequenziell verarbeitet.
Hierarchische Importe
Sie können eine Hierarchie eines geplanten Importsatzes erstellen, indem Sie einen Import so planen, dass er nach Abschluss eines anderen Importsatzes ausgeführt wird. Ein übergeordneter geplanter Import kann viele untergeordnete geplante Importe haben, und jeder untergeordnete geplante Import wird in der angegebenen Reihenfolge ausgeführt. Bei gleichzeitigen geplanten Importen können untergeordnete geplante Importe erst gestartet werden, nachdem alle Importsatz-Umwandleraufträge abgeschlossen sind.
Der letzte Auftrag „Importsatz-Umwandler“ startet den nächsten Import in der Hierarchie.
Das System generiert zu Beginn des übergeordneten Importprozesses einen Ausführungsplan. Jeder Importprozess verwendet den Ausführungsplan, um den nächsten aufzurufenden Prozess abzurufen. Bei gleichzeitigen Importen ruft der letzte Importsatz-Umwandler-Auftrag den nächsten Import ab und führt ihn aus.
Synchronisierte Einfügungen
Zusammenfügungsfelder helfen bei der Definition der Eindeutigkeit zwischen Datensätzen. Der Transformationsprozess sucht nach einem vorhandenen Datensatz mit den Zusammenfügungswerten und aktualisiert den vorhandenen Datensatz, falls vorhanden, oder fügt einen neuen Datensatz ein, wenn keiner vorhanden ist. Weitere Informationen finden Sie unter Datensätze werden mithilfe von Zusammenfügungen aktualisiert.
Standardmäßig ermöglichen gleichzeitige Importe jedem laufenden Importsatz das Einfügen neuer Datensätze. Wenn ein Importsatz einen Datensatz einfügt, richtet er eine Schreibsperre für die Zieltabelle ein, um zu verhindern, dass andere Importsätze denselben Datensatz einfügen.
Tabellen für gleichzeitige Importe
| Tabelle | Beschreibung |
|---|---|
| Gleichzeitiger Importsatz (sys_concurrent_Import_Set) | Speichert Details zu jedem gleichzeitigen Importsatz in Importsatzdatensätzen. |
| Gleichzeitige Importsatzaufträge (sys_concurrent_Import_Set_Job) | Listet die zu verarbeitenden Importsätze auf. |
| Ausführungskontext für geplanten Import (sys_Execution_context) | Gibt an Ausführungskontext Für jeden geplanten Import. Der Ausführungskontext gibt den nächsten geplanten Import an, der bei der Verarbeitung eines hierarchischen geplanten Imports verwendet werden soll. |
| Hierarchischer Ausführungsplan für geplanten Import (sys_Execution_Plan). | Speichert Ausführungsplan Für hierarchische Importe. Der Ausführungsplan ist eine Strukturstruktur, die angibt, welcher geplante Import nach der vorherigen geplanten Eingabe ausgeführt wird. |
Domänentrennung mit gleichzeitigen Importen
Sie können das Feld sys_Domain einer geplanten Importtabelle hinzufügen, um die Domänentrennung für den Importsatz zu aktivieren. Sowohl das Laden von Importsätzen als auch die Transformationsaufträge werden in der Domäne ausgeführt, die in der geplanten Importsatzaufgabe angegeben ist.