インポートセットのプロパティ

  • リリースバージョン: Yokohama
  • 更新日 2025年01月30日
  • 所要時間：12分

    • 複数のプロパティがインポートセットの動作をコントロールします。

    インポートセットのプロパティ

    glide.import_set.preserve.leading.spaces
    インポートプロセスが Excel データセルの先頭のスペースを保持するかどうかを指定します。false の場合、インポートプロセスは Excel データセルの改行なしの先頭のスペースを削除します。true の場合、インポートプロセスは改行なしの先頭のスペースを保持します。
    注:
    インポートプロセスでは、Excel データのセルから末尾のスペースが常に削除されます。
    glide.import_set_row.dynamically_add_fields
    インポートセットによるステージングテーブルへの新しい列の追加を可能にするか (true)、しないか (false) を指定します。大量のインポートセットを含むインスタンスは、インスタンスがステージングテーブルのすべての行を変更する必要があるため、インポートによって列が追加されたときに応答しなくなることがあります。場合によっては、データベースの alter テーブルアクションによって停止します。このプロパティを false に設定すると、インポートセットがステージングテーブルに列を追加できなくなり、ログメッセージが生成されなくなります。ワークアラウンドとして、アドミニストレーターは新しい辞書エントリを作成してインポートセットを再度インポートすることで、ステージングテーブルに列を手動で追加できます。
    com.glide.loader.verify_target_field_size
    インポートセットフィールドの動的なサイズ変更を有効にします。デフォルト設定の false を使用すると、最大 20 レコードのソースデータをサンプリングして、インポートセットフィールドの長さが決定されます。サンプリングされたすべてのレコードでフィールドが空の場合、デフォルトの長さ 40 が使用されます。ロードされたデータがインポートセットテーブルフィールドの長さを超えている場合、超えた部分は切り捨てられます。このプロパティを true に設定すると、インポートセットフィールドでは、データ長に合うよう列サイズを 100 増やせるようになります。たとえば、受信ソースデータの長さが 60 の場合、列の長さは 160 に設定されます。これはデータソースにのみ関連しています。
    glide.ds.file.http.variable_replacement
    HTTP または HTTPS を使用して取得されるファイルタイプのデータソースのシステムプロパティ拡張を有効にします。
    glide.scheduled_import.stop_on_error
    親スケジュール済みインポートでエラーが生成されたときにインポートプロセスを停止するには、true に設定します。この動作は、あるインポートセットが別のインポートセットの結果に依存する場合に便利です。
    glide.impex.transformer.empty_value_nil
    インポートセットステージングテーブルからの変換中に空の文字列値をどのように処理するかをコントロールします。空の文字列を保持するには、このプロパティを true に設定します。空の文字列を文字列 NULL に変換するには、このプロパティを false に設定します。
    注:
    空の文字列は、このプロパティ値に関係なく、常に null 値としてデータベースに格納されます。
    このプロパティは、変換中に onBefore スクリプトを実行するときに使用できます。このプロパティを true に設定すると、hasValue() または nil() 関数を使用して null 値をチェックできます。
    com.glide.loader.max_scan_rows
    データをインポートするときにステージングテーブルフィールドを自動的に生成するためにサンプリングされるソースデータの行数をコントロールします。このプロパティは、JDBC、XLS、CSV、および XML のインポートに適用されますが、JSON および XSLX のインポートには適用されません。

    同時インポートセットのプロパティ

    glide.scheduled_import.max.concurrent.import_sets
    1 回の同時インポートのインポートセットの最大数。
    com.glide.concurrent_import_set_insert_mutex_spin_wait
    ロックが取得された場合のミューテックスの待機時間 (ミリ秒)。
    com.glide.concurrent_import_set_insert_mutex_expiration
    ミューテックスの有効期限 (ミリ秒)。
    com.glide.concurrent_import_set_mutex_fast_lock
    高速ロック (true) または SQL ベースの低速ロック (false) を指定します。

    Web サービスインポートセットのプロパティ

    com.glide.ws_import_set.column_resize
    true の場合、Web サービスインポートセットのインポートステージングテーブルで列の動的なサイズ変更を有効にします。
    com.glide.ws_import_set.column_resize.max_row_count
    Web サービスインポートセットで列のサイズを動的に変更するためにインポートステージングテーブルが保持できる行の最大数。

    com.glide.ws_import_set.column_resize が true の場合でも、この行数を超えるインポートステージングテーブルでは、Web サービスインポートセットで動的にサイズ変更されません。

    このプロパティの最大値は 500,000 です。

    CSV プロパティ

    com.glide.csv.loader.ignore_non_parseable_lines
    データの列が存在しない行など、CSV インポートに不正なデータを含む 1 つ以上の行をインスタンスが無視できるようにします。デフォルトでは、インポートは CSV ファイル内の不正なデータを無視することができず、最初のエラーで失敗します。
    com.glide.csv.loader.max_errors_allowed
    インポートが失敗する前に無視できる行の最大数を指定します。インポートに成功すると、インポートには、エラーが原因でインポートが無視された行数が一覧表示されます。
    glide.import.csv.charset
    インポートする CSV ファイルの文字セット。有効な値は UTF-8 と WINDOWS-1252 です。特殊文字をインポートする場合は、UTF-8 形式を使用する必要があります。

    Excel インポートプロパティ

    glide.excel.multiplier
    最大数インスタンス Excel インポートに割り当てるメモリ。このプロパティは、.XLS ファイルをインポートする場合にのみ適用されます。

    このプロパティの値に Excel ファイルのファイルサイズを掛けて、合計メモリ割り当てを決定します。使用されるメモリが glide.excel.max_memory_percent プロパティで指定された制限を超えることはできません。

    たとえば、デフォルト値が 8 で、Excel ファイルが 10 MB の場合、インスタンスはインポートに最大 80 MB のメモリを使用します。

    glide.xlsx.multiplier
    最大数インスタンス Excel インポートに割り当てるメモリ。このプロパティは、.XLSX ファイルをインポートする場合にのみ適用されます。

    このプロパティの値に Excel ファイルのファイルサイズを掛けて、合計メモリ割り当てを決定します。使用されるメモリが glide.excel.max_memory_percent プロパティで指定された制限を超えることはできません。

    たとえば、デフォルト値が 10 で、10 MB の Excel ファイルでは、インスタンスはインポートに最大 100 MB のメモリを使用します。

    注:
    このプロパティの値は変更しないでください。最適なパフォーマンスを得るためにデフォルト値が選択されました。
    glide.excel.max_memory_percent
    Excel のインポートに許可される最大メモリ量 (インスタンスの合計メモリに対する割合)。
    glide.excel.use_disk_backed_strings_table
    XLSX のインポート中にインスタンスがディスクストレージを使用して大きなファイルデータを維持するかどうかをコントロールします。XLSX ファイルデータをメモリにのみ保存するには、このプロパティを false に設定します。このプロパティを false に設定すると、XLSX のインポート中に使用されるメモリが増加します。
    glide.excel.in_memory_strings_table_size_mb
    glide.excel.use_disk_backed_strings_table が true の場合にディスクストレージに書き込む前に XLSX ファイルデータを保存できる最大メモリ量 (MB)。このプロパティの値を小さくすると、XLSX のインポート時に使用するメモリが少なくなりますが、インポートが遅くなる可能性があります。
    glide.xlsx.import.debug
    XLSX インポートのデバッグログ記録を有効にします。
    glide.import.excel.enhanced_number_conversions
    true の場合、1,000 万を超える数値はインポートステージングテーブルに保持されます。false の場合、インポートされた値が 1,000 万を超えると、元のインポート値と一致しない可能性がある指数表記に変換されます。ほとんどの種類のデータをインポートするには、このプロパティを true に設定する必要があります。
    glide.transform.boolean.casesensitive
    true の場合、大文字のブール値 (TRUE/FALSE) は常に false に変換されます。false の場合、大文字のブール値 (TRUE/FALSE) は正しく変換されます。

    JDBC 接続プロパティ

    glide.jdbcprobeloader.retry
    JDBC プローブローダーが JDBC データソースから返されるデータの処理を試行する回数。再試行間は glide.jdbcprobeloader.retry_millis で定義された値でスリープします。
    glide.jdbcprobeloader.retry_millis
    JDBC プローブローダーが JDBC データソースからのデータを処理するための再試行の間に待機するミリ秒数。

    ログ記録とデバッグのプロパティ

    com.glide.import_set.importlog_level
    インポートセットがログに追加する情報の量を指定します。可能な値は INFO、WARNING、および ERROR です。開発環境でこれを INFO に設定し、本番環境でこれを WARNING または ERROR に変更すると、データベースへのログ記録のノイズトラフィックの量を減らすことができます。
    注:
    このプロパティは、ステージングテーブルのクリーンアップに関連するログ記録には影響しません。
    glide.import.debug
    すべてのインポートプロセスのデバッグログ記録を有効にします。
    glide.importlog.log_to_table
    情報レベルのログメッセージを import_log テーブルに書き込むかどうかを指定します。true の場合、情報レベルのログメッセージが書き込まれます。
    注:
    統合ハブ ETL の情報レベルのログは、このプロパティ設定に関係なく、 importlog.log テーブルに書き込まれます。他の例外を追加するには、Now Support にお問い合わせください。
    glide.import.sftp.debug
    SFTP インポートの追加のデバッグログ記録を有効にします。このプロパティを有効にすると、インスタンスは SSH セッション中にすべての送信メッセージと受信メッセージをログに記録します。
    glide.import.scp.debug
    SCP インポートの追加デバッグログ記録を有効にします。このプロパティを有効にすると、インスタンスは SSH セッション中にすべての送信メッセージと受信メッセージをログに記録します。