Propriedades dos conjuntos para importação

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 9 min. de leitura

    • Várias propriedades controlam o comportamento do conjunto de importação.

    Propriedades dos conjuntos para importação

    glide.import_set.preserve.leading.spaces
    Especifica se o processo de importação preserva os espaços iniciais nas células de dados do Excel. Quando falso, o processo de importação remove os espaços iniciais sem quebra das células de dados do Excel. Quando verdadeiro, o processo de importação preserva os espaços iniciais sem quebra.
    Nota:
    O processo de importação sempre remove espaços à direita das células de dados do Excel.
    glide.import_set_row.dynamically_add_fields
    Especifica se um conjunto para importação pode adicionar novas colunas à tabela de preparação (verdadeiro) ou não (falso). Às vezes, as instâncias que contêm um grande número de conjuntos para importação podem parar de responder quando uma importação adiciona uma coluna porque a instância deve alterar todas as linhas na tabela de preparação. Em alguns casos, a ação de tabela de alteração do banco de dados causa uma indisponibilidade. Definir esta propriedade como falsa evita que um conjunto de importação adicione colunas à tabela de preparação e produz uma mensagem de log. Como solução alternativa, os administradores podem adicionar manualmente uma coluna à tabela de preparação criando uma nova entrada de dicionário e reimportando o conjunto de importação.
    com.glide.loader.verify_target_field_size
    Habilita o redimensionamento dinâmico dos campos do conjunto de importação. Com a configuração padrão de falso, até 20 registros dos dados de origem são amostrados para determinar o tamanho do campo do conjunto de importação. Se o campo estiver vazio em todos os registros de amostra, o tamanho padrão de 40 será usado. Todos os dados carregados que excedem o tamanho do campo da tabela de conjunto de importação são truncados. Defina esta propriedade como verdadeira para permitir que qualquer campo de conjunto de importação aumente o tamanho da coluna em 100 para corresponder ao comprimento dos dados. Por exemplo, se os dados de origem de entrada tiverem um comprimento de 60, o sistema definirá o comprimento da coluna como 160. Isso é relevante somente para a fonte de dados.
    glide.ds.file.http.variable_replacement
    Habilita a expansão da propriedade do sistema para fontes de dados do tipo arquivo que são recuperadas usando HTTP ou HTTPS.
    glide.scheduled_import.stop_on_error
    Defina como verdadeiro para interromper o processo de importação quando a importação agendada primária gerar um erro. Esse comportamento pode ser útil quando um conjunto de importação depende dos resultados de outro conjunto de importação.
    glide.impex.transformer.empty_value_nil
    Controla como os valores de cadeia de caracteres vazios são tratados durante a transformação de uma tabela de preparação de conjunto para importação. Defina esta propriedade como verdadeira para preservar cadeias de caracteres vazias. Defina esta propriedade como falsa para converter cadeias de caracteres vazias na cadeia de caracteres NULL.
    Nota:
    Uma cadeia de caracteres vazia é sempre armazenada como um valor nulo no banco de dados, independentemente do valor desta propriedade.
    Você pode usar esta propriedade ao executar um script onBefore durante a transformação. Definir esta propriedade como verdadeira permite que você verifique se há valores nulos usando as funções hasValue() ou nil().
    com.glide.loader.max_scan_rows
    Controla quantas linhas de dados de origem são amostradas para gerar automaticamente campos da tabela de preparação ao importar dados. Esta propriedade se aplica a importações de JDBC, XLS, CSV e XML, mas não a importações de JSON e XSLX.

    Propriedades dos conjuntos para importação simultâneos

    glide.scheduled_import.max.concurrent.import_sets
    Número máximo de conjuntos para importação para uma importação simultânea.
    com.glide.concurrent_import_set_insert_mutex_spin_wait
    Tempo de espera que o mutex passa se o bloqueio for adquirido (em milissegundos).
    com.glide.concurrent_import_set_insert_mutex_expiration
    Tempo de expiração do Mutex (em milissegundos).
    com.glide.concurrent_import_set_mutex_fast_lock
    Especifica se deve ser usado o bloqueio rápido (verdadeiro) ou o bloqueio lento baseado em SQL (falso).

    Propriedades dos conjuntos para importação de serviço web

    com.glide.ws_import_set.column_resize
    Quando verdadeiro, habilita o redimensionamento dinâmico de colunas em tabelas de preparação de importação para conjuntos para importação de serviços web.
    com.glide.ws_import_set.column_resize.max_row_count
    O número máximo de linhas que uma tabela de preparação de importação pode ter para redimensionamento de coluna dinâmica com conjuntos para importação de serviços web.

    A importação de tabelas de preparação com mais de um número de linhas não usará o redimensionamento dinâmico com conjuntos para importação de serviços web, mesmo se com.glide.ws_import_set.column_resize for verdadeiro.

    Esta propriedade tem um valor máximo de 500.000.

    Propriedades de CSV

    com.glide.csv.loader.ignore_non_parseable_lines
    Permite que uma instância ignore uma ou mais linhas (linhas) que contêm dados inválidos em uma importação de CSV, como uma linha que não tem uma coluna de dados. Por padrão, as importações não podem ignorar dados incorretos em arquivos CSV e falhar no primeiro erro.
    com.glide.csv.loader.max_errors_allowed
    Especifica o número máximo de linhas (linhas) que uma importação pode ignorar antes de falhar. Se a importação for bem-sucedida, ela listará o número de linhas que a importação ignorou devido a erros.
    glide.import.csv.charset
    O conjunto de caracteres do arquivo CSV a ser importado. Os valores válidos são UTF-8 e WINDOWS-1252. Pode ser necessário usar a formatação UTF-8 ao importar caracteres especiais.

    Propriedades de importação do Excel

    glide.excel.multiplicador
    A quantidade máxima de memória de instância a ser alocada para uma importação do Excel. Esta propriedade se aplica somente à importação de arquivos .XLS.

    O valor desta propriedade é multiplicado pelo tamanho do arquivo do Excel para determinar a alocação total de memória. A memória usada não pode exceder o limite especificado pela propriedade glide.excel.max_memory_percent.

    Por exemplo, com o valor padrão 8 e um arquivo do Excel de 10 MB, a instância usará até 80 MB de memória para a importação.

    glide.xlsx.multiplier
    A quantidade máxima de memória de instância a ser alocada para uma importação do Excel. Esta propriedade se aplica somente à importação de arquivos .XLSX.

    O valor desta propriedade é multiplicado pelo tamanho do arquivo do Excel para determinar a alocação total de memória. A memória usada não pode exceder o limite especificado pela propriedade glide.excel.max_memory_percent.

    Por exemplo, com o valor padrão 10 e um arquivo do Excel de 10 MB, a instância usará até 100 MB de memória para a importação.

    Nota:
    Não modifique o valor desta propriedade. O valor padrão foi selecionado para o desempenho ideal.
    glide.excel.max_memory_percent
    A quantidade máxima de memória permitida para importações do Excel, como uma porcentagem da memória total da instância.
    glide.excel.use_disk_backed_strings_table
    Controla se a instância usa armazenamento em disco para manter dados de arquivos grandes durante a importação de XLSX. Defina esta propriedade como falsa para armazenar dados do arquivo XLSX somente na memória. Definir esta propriedade como falsa aumenta a memória usada durante a importação de XLSX.
    glide.excel.in_memory_strings_table_size_mb
    A quantidade máxima de memória, em megabytes, disponível para armazenar dados de arquivo XLSX antes de gravar no armazenamento em disco quando glide.excel.use_disk_backed_strings_table for verdadeiro. Definir um valor mais baixo para esta propriedade usará menos memória durante a importação de XLSX, mas poderá resultar em importações mais lentas.
    glide.xlsx.import.debug
    Habilita o registro em log de depuração para importações de XLSX.
    glide.import.excel.enhanced_number_conversions
    Quando verdadeiro, os valores numéricos superiores a 10 milhões são preservados nas tabelas de preparação de importação. Quando falso, os valores importados maiores que 10 milhões são convertidos em notação científica que pode não corresponder ao valor importado original. Esta propriedade deve ser definida como verdadeira para importar a maioria dos tipos de dados.
    glide.transform.boolean.casesensitive
    Quando verdadeiro, os valores boolianos maiúsculos de (VERDADEIRO/FALSO) sempre se transformam em falso. Quando falso, os valores boolianos em maiúsculas (VERDADEIRO/FALSO) são transformados corretamente.

    Propriedades da conexão JDBC

    glide.jdbcprobeloader.nova tentativa
    O número de vezes que um carregador de probe JDBC tenta processar dados retornados de uma fonte de dados JDBC. Repete o valor definido em glide.jdbcprobeloader.retry_millis entre novas tentativas.
    glide.jdbcprobeloader.retry_milis
    Quantos milissegundos um carregador de probe JDBC espera entre tentativas de processar dados de uma fonte de dados JDBC.

    Propriedades de registro em log e depuração

    com.glide.import_set.importlog_level
    Especifica a quantidade de informações que os conjuntos para importação adicionam ao log. Os valores possíveis são INFO, AVISO e ERRO. Você pode definir isso como INFO no ambiente de desenvolvimento e alterá-lo para AVISO ou ERRO na produção para reduzir a quantidade de tráfego de ruído de registro em log para o banco de dados.
    Nota:
    Esta propriedade não afeta o registro em log relacionado à limpeza de tabelas de preparação.
    glide.import.debug
    Habilita o registro em log de depuração para todos os processos de importação.
    glide.importlog.log_to_table
    Especifica se mensagens de log de nível de informação devem ser gravadas na tabela import_log. Quando verdadeiro, as mensagens de log no nível de informação são gravadas.
    Nota:
    Os logs de nível de informação do IntegrationHub ETL são gravados na tabela importlog.log, independentemente desta configuração de propriedade. Para que mais exceções sejam adicionadas, entre em contato com Now Support.
    glide.import.sftp.debug
    Habilita o registro em log de depuração adicional para importações de SFTP. Habilitar esta propriedade fará com que a instância registre em log todas as mensagens de saída e de entrada durante a sessão SSH.
    glide.import.scp.debug
    Habilita o registro em log de depuração adicional para importações SCP. Habilitar esta propriedade fará com que a instância registre em log todas as mensagens de saída e de entrada durante a sessão SSH.