Import Set-Eigenschaften

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 7 Minuten Lesedauer

    • Mehrere Eigenschaften steuern das Verhalten des Importsatzes.

    Import Set-Eigenschaften

    glide.import_set.preserve.leading.spaces
    Gibt an, ob der Importprozess führende Leerzeichen in Excel-Datenzellen beibehält. Bei „false“ entfernt der Importprozess geschützte führende Leerzeichen aus Excel-Datenzellen. Bei „true“ behält der Importprozess geschützte führende Leerzeichen bei.
    Hinweis:
    Der Importvorgang entfernt immer nachfolgende Leerzeichen aus Excel-Datenzellen.
    glide.import_set_row.dynamically_add_fields
    Gibt an, ob ein Importsatz der Staging-Tabelle neue Spalten hinzufügen kann (true) oder nicht (false). Instanzen, die eine große Anzahl von Importsätzen enthalten, reagieren manchmal nicht mehr, wenn ein Import eine Spalte hinzufügt, da die Instanz jede Zeile in der Staging-Tabelle ändern muss. In einigen Fällen führt die Datenbankaktion „Tabelle ändern“ zu einem Ausfall. Wenn diese Eigenschaft auf „false“ gesetzt wird, wird verhindert, dass ein Import Set der Staging-Tabelle Spalten hinzufügt, und eine Protokollnachricht erstellt. Als Workaround können Administratoren der Staging-Tabelle manuell eine Spalte hinzufügen, indem sie einen neuen Dictionary-Eintrag erstellen und anschließend das Import Set erneut importieren.
    com.glide.loader.verify_target_field_size
    Aktiviert die dynamische Größenänderung von Import Set-Feldern. Mit der Standardeinstellung falsewerden bis zu 20 Datensätze der Quelldaten erfasst, um die Feldlänge des Importsatzes zu bestimmen. Wenn das Feld in allen Stichprobendatensätzen leer ist, wird die Standardlänge von 40 verwendet. Alle geladenen Daten, die die Feldlänge der Import Set-Tabelle überschreiten, werden abgeschnitten. Legen Sie diese Eigenschaft auf „true“ fest, damit jedes Import Set-Feld die Spaltengröße um 100 erhöhen kann, um der Länge der Daten zu entsprechen. Wenn die eingehenden Quelldaten beispielsweise eine Länge von 60 haben, legt das System die Länge der Spalte auf 160 fest. Dies ist nur für die Datenquelle relevant.
    glide.ds.file.http.variable_replacement
    Aktiviert die Erweiterung der Systemeigenschaft für Datenquellen vom Typ Datei, die über HTTP oder HTTPS abgerufen werden.
    glide.scheduled_import.stop_on_error
    Setzen Sie diese Option auf „ true “, um den Importvorgang anzuhalten, wenn der übergeordnete geplante Import einen Fehler generiert. Dieses Verhalten kann nützlich sein, wenn ein Importsatz von den Ergebnissen eines anderen Importsatzes abhängt.
    glide.impex.transformer.empty_value_nil
    Steuert, wie leere Zeichenfolgenwerte während der Transformation aus einer Import Set-Bereitstellungstabelle behandelt werden. Legen Sie diese Eigenschaft auf „true“ fest, um leere Zeichenfolgen beizubehalten. Legen Sie diese Eigenschaft auf „false“ fest, um leere Zeichenfolgen in die Zeichenfolge NULLzu konvertieren.
    Hinweis:
    Eine leere Zeichenfolge wird unabhängig von diesem Eigenschaftswert immer als Nullwert in der Datenbank gespeichert.
    Sie können diese Eigenschaft verwenden, wenn Sie während der Transformation ein onBefore-Skript ausführen. Wenn Sie diese Eigenschaft auf true setzen, können Sie mit den Funktionen hasValue() oder nil() nach Nullwerten suchen.
    com.glide.loader.max_scan_rows
    Steuert, wie viele Zeilen von Quelldaten erfasst werden, um beim Datenimport automatisch Staging-Tabellenfelder zu generieren. Diese Eigenschaft gilt für JDBC-, XLS-, CSV- und XML-Importe, jedoch nicht für JSON- und XSLX-Importe.

    Gleichzeitige Importe legen Eigenschaften fest

    glide.scheduled_import.max.concurrent.import_sets
    Maximale Anzahl von Importsätzen für einen gleichzeitigen Import.
    com.glide.concurrent_import_set_insert_mutex_spin_wait
    Wartezeit, die Mutex verbringt, wenn die Sperre erfasst wird (in Millisekunden).
    com.glide.concurrent_import_set_insert_mutex_expiration
    Mutex-Ablaufzeit (in Millisekunden).
    com.glide.concurrent_import_set_mutex_fast_lock
    Gibt an, ob Fast Lock (wahr) oder SQL-basierte langsame Sperre (false) verwendet werden soll.

    Webservice-Import legt Eigenschaften fest

    com.glide.ws_import_set.column_resize
    Bei „wahr“ wird die dynamische Größenänderung von Spalten in Importbereitstellungstabellen für Webservice-Importsätze aktiviert.
    com.glide.ws_import_set.column_resize.max_row_count
    Die maximale Anzahl von Zeilen, die eine Importbereitstellungstabelle für die dynamische Größenänderung von Spalten mit Webservice-Importsätzen haben kann.

    Beim Import von Bereitstellungstabellen mit mehr als dieser Anzahl von Zeilen wird keine dynamische Größenänderung mit Webservice-Importsätzen verwendet, auch wenn com.glide.ws_import_set.column_resize auf „wahr“ festgelegt ist.

    Diese Eigenschaft hat einen maximalen Wert von 500.000.

    CSV-Eigenschaften

    com.glide.csv.loader.ignore_non_parseable_lines
    Ermöglicht einer Instanz, eine oder mehrere Zeilen zu ignorieren, die fehlerhafte Daten in einem CSV-Import enthalten, z. B. eine Zeile, in der eine Datenspalte fehlt. Standardmäßig können Importe fehlerhafte Daten in CSV-Dateien nicht ignorieren und schlagen beim ersten Fehler fehl.
    com.glide.csv.loader.max_errors_allowed
    Gibt die maximale Anzahl von Zeilen an, die ein Import ignorieren kann, bevor er fehlschlägt. Wenn der Import erfolgreich ist, listet der Import die Anzahl der Zeilen auf, die der Import aufgrund von Fehlern ignoriert hat.
    glide.import.csv.charset
    Der Zeichensatz der zu importierenden CSV-Datei. Gültige Werte sind UTF-8 und WINDOWS-1252. Möglicherweise müssen Sie beim Importieren von Sonderzeichen die UTF-8-Formatierung verwenden.

    Excel-Importeigenschaften

    glide.excel.multiplier
    Die maximale Menge an Instanzspeicher, die einem Excel-Import zugewiesen werden soll. Diese Eigenschaft gilt nur beim Importieren von XLS-Dateien.

    Der Wert dieser Eigenschaft wird mit der Dateigröße der Excel-Datei multipliziert, um die Gesamtspeicherzuteilung zu bestimmen. Der verwendete Arbeitsspeicher darf das in der Eigenschaft glide.excel.max_memory_percent angegebene Limit nicht überschreiten.

    Beispiel: Mit dem Standardwert 8 und einer 10-MB-Excel-Datei verwendet die Instanz bis zu 80 MB Arbeitsspeicher für den Import.

    glide.xlsx.multiplier
    Die maximale Menge an Instanzspeicher, die einem Excel-Import zugewiesen werden soll. Diese Eigenschaft gilt nur beim Importieren von XLSX-Dateien.

    Der Wert dieser Eigenschaft wird mit der Dateigröße der Excel-Datei multipliziert, um die Gesamtspeicherzuteilung zu bestimmen. Der verwendete Arbeitsspeicher darf das in der Eigenschaft glide.excel.max_memory_percent angegebene Limit nicht überschreiten.

    Beispiel: Mit dem Standardwert 10 und einer 10-MB-Excel-Datei verwendet die Instanz bis zu 100 MB Arbeitsspeicher für den Import.

    Hinweis:
    Ändern Sie den Wert dieser Eigenschaft nicht. Der Standardwert wurde für eine optimale Leistung ausgewählt.
    glide.excel.max_memory_percent
    Die maximal zulässige Speichermenge für Excel-Importe als Prozentsatz des gesamten Instanzspeichers.
    glide.excel.use_disk_backed_strings_table
    Steuert, ob die Instanz Datenträgerspeicher verwendet, um große Dateidaten während des XLSX-Imports zu verwalten. Legen Sie diese Eigenschaft auf „false“ fest, um XLSX-Dateidaten nur im Speicher zu speichern. Wenn diese Eigenschaft auf „false“ gesetzt wird, wird der während des XLSX-Imports verwendete Arbeitsspeicher erhöht.
    glide.excel.in_memory_strings_table_size_mb
    Die maximale Speichermenge in Megabyte, die zum Speichern von XLSX-Dateidaten verfügbar ist, bevor sie auf den Datenträger geschrieben wird, wenn glide.excel.use_disk_backed_strings_table „true“ ist. Wenn Sie einen niedrigeren Wert für diese Eigenschaft festlegen, wird während des XLSX-Imports weniger Speicher verwendet, dies kann jedoch zu langsameren Importen führen.
    glide.xlsx.import.debug
    Aktiviert die Debug-Protokollierung für XLSX-Importe.
    glide.import.excel.enhanced_number_conversions
    Bei „true“ werden numerische Werte über 10 Millionen in Importbereitstellungstabellen beibehalten. Bei „false“ werden importierte Werte, die größer als 10 Millionen sind, in eine wissenschaftliche Notation konvertiert, die möglicherweise nicht mit dem ursprünglich importierten Wert übereinstimmt. Diese Eigenschaft sollte für den Import der meisten Arten von Daten auf „true“ festgelegt werden.
    glide.transform.boolean.casesensitive
    Bei „wahr“ werden boolesche Werte in Großbuchstaben (TRUE/FALSE) immer in „false“ umgewandelt. Bei „false“ werden boolesche Werte in Großbuchstaben (TRUE/FALSE) korrekt umgewandelt.

    JDBC-Verbindungseigenschaften

    glide.jdbcprobeloader.retry
    Die Anzahl der Versuche eines JDBC-Probe-Ladeprogramms, Daten zu verarbeiten, die aus einer JDBC-Datenquelle zurückgegeben werden. Schläft bei dem in glide.jdbcprobeloader.retry_millis definierten Wert zwischen Wiederholungsversuchen.
    glide.jdbcprobeloader.retry_millis
    Wie viele Millisekunden wartet ein JDBC-Probe-Ladeprogramm zwischen Wiederholungsversuchen, Daten aus einer JDBC-Datenquelle zu verarbeiten?

    Protokollierungs- und Debug-Eigenschaften

    com.glide.import_set.importlog_level
    Gibt an, wie viele Informationen Import Sets dem Protokoll hinzufügen. Mögliche Werte sind INFO, WARNING und ERROR. Sie können dies in der Entwicklungsumgebung auf INFO festlegen und in der Produktion in WARNING oder ERROR ändern, um den Datenverkehr mit Protokollrauschen in der Datenbank zu reduzieren.
    Hinweis:
    Diese Eigenschaft wirkt sich nicht auf die Protokollierung im Zusammenhang mit der Bereinigung von Staging-Tabellen aus.
    glide.import.debug
    Aktiviert die Debug-Protokollierung für alle Importprozesse.
    • Typ: Wahr | Falsch
    • Standardwert: false
    • Speicherort: Fügen Sie eine Systemeigenschafthinzu. Fügen Sie sie der Tabelle „Systemeigenschaft“ [sys_properties] hinzu
    glide.importlog.log_to_table
    Gibt an, ob Protokollnachrichten auf Informationsebene in die Tabelle import_log geschrieben werden sollen. Bei „true“ werden die Protokollnachrichten auf Informationsebene geschrieben.
    Hinweis:
    Die Protokolle auf Informationsebene für IntegrationHub ETL werden unabhängig von dieser Eigenschaftseinstellung in die Tabelle importlog.log geschrieben. Wenden Sie sich an Now Support, um weitere Ausnahmen hinzufügen zu lassen.
    glide.import.sftp.debug
    Aktiviert zusätzliche Debug-Protokollierung für SFTP-Importe. Durch Aktivieren dieser Eigenschaft protokolliert die Instanz alle ausgehenden und eingehenden Nachrichten während der SSH-Sitzung.
    glide.import.scp.debug
    Aktiviert eine zusätzliche Debug-Protokollierung für SCP-Importe. Durch Aktivieren dieser Eigenschaft protokolliert die Instanz alle ausgehenden und eingehenden Nachrichten während der SSH-Sitzung.