Propriedades dos conjuntos de importação

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 9 min. de leitura

    • Várias propriedades controlam o comportamento do conjunto de importação.

    Propriedades dos conjuntos de importação

    glide.import_set.preserve.leading.spaces
    Especifica se o processo de importação preserva os espaços iniciais nas células de dados do Excel. Quando falso, o processo de importação remove os espaços iniciais sem quebra das células de dados do Excel. Quando verdadeiro, o processo de importação preserva os espaços iniciais sem quebra.
    Nota:
    O processo de importação sempre remove os espaços à direita das células de dados do Excel.
    glide.import_set_row.dynamically_add_fields
    Especifica se um conjunto de importação pode adicionar novas colunas à tabela de preparação (verdadeiro) ou não (falso). As instâncias que contêm um grande número de conjuntos de importação podem às vezes deixar de responder quando uma importação adiciona uma coluna porque a instância deve alterar todas as linhas na tabela de preparação. Em alguns casos, a ação de alterar tabela do banco de dados causa uma indisponibilidade. Definir esta propriedade como falsa impede que um conjunto de importação adicione colunas à tabela de preparação e produz uma mensagem de log. Como solução alternativa, os administradores podem adicionar manualmente uma coluna à tabela de preparação, criando uma nova entrada de dicionário e reimportando o conjunto de importação.
    com.glide.loader.verify_target_field_size
    Habilita o redimensionamento dinâmico de campos de conjunto de importação. Com a configuração padrão de falso, até 20 registros dos dados de origem são amostrados para determinar o tamanho do campo do conjunto de importação. Se o campo estiver vazio em todos os registros de amostra, o tamanho padrão de 40 será usado. Todos os dados carregados que excedem o tamanho do campo da tabela de conjunto de importação são truncados. Defina esta propriedade como verdadeira para permitir que qualquer campo de conjunto de importação aumente o tamanho da coluna em 100 para corresponder ao tamanho dos dados. Por exemplo, se os dados de origem de entrada tiverem um comprimento de 60, o sistema definirá o comprimento da coluna como 160. Isso é relevante somente para a fonte de dados.
    glide.ds.file.http.variable_replacement
    Habilita a expansão da propriedade do sistema para fontes de dados do tipo arquivo que são recuperadas usando HTTP ou HTTPS.
    glide.scheduled_import.stop_on_error
    Defina como verdadeiro para parar o processo de importação quando a importação programada primária gerar um erro. Esse comportamento pode ser útil quando um conjunto de importação depende dos resultados de outro conjunto de importação.
    glide.impex.transformer.empty_value_nil
    Controla como os valores de cadeia de caracteres vazios são tratados durante a transformação de uma tabela de preparação de conjunto de importação. Defina esta propriedade como verdadeira para preservar cadeias de caracteres vazias. Defina esta propriedade como falsa para converter cadeias de caracteres vazias para a cadeia de caracteres NULL.
    Nota:
    Uma cadeia de caracteres vazia é sempre armazenada como um valor nulo no banco de dados, independentemente do valor dessa propriedade.
    Você pode usar esta propriedade ao executar um script onBefore durante a transformação. Definir esta propriedade como verdadeira permite que você verifique se há valores nulos usando as funções hasValue() ou nil().
    com.glide.loader.max_scan_rows
    Controla quantas linhas de dados de origem são amostradas para gerar automaticamente campos de tabela de preparação ao importar dados. Esta propriedade se aplica a importações de JDBC, XLS, CSV e XML, mas não a importações de JSON e XSLX.

    Propriedades de conjuntos de importação simultâneos

    glide.scheduled_import.max.concurrent.import_sets
    Número máximo de conjuntos de importação para uma importação simultânea.
    com.glide.concurrent_import_set_insert_mutex_spin_wait
    Tempo de espera que o mutex passa se o bloqueio for adquirido (em milissegundos).
    com.glide.concurrent_import_set_insert_mutex_expiration
    Tempo de expiração do mutex (em milissegundos).
    com.glide.concurrent_import_set_mutex_fast_lock
    Especifica se deve ser usado o bloqueio rápido (verdadeiro) ou o bloqueio lento baseado em SQL (falso).

    Propriedades dos conjuntos de importação de serviços da Web

    com.glide.ws_import_set.column_resize
    Quando verdadeiro, habilita o redimensionamento dinâmico de coluna em tabelas de preparação de importação para conjuntos de importação de serviço Web.
    com.glide.ws_import_set.column_resize.max_row_count
    O número máximo de linhas que uma tabela de preparação de importação pode ter para redimensionar colunas dinâmicas com conjuntos de importação de serviços Web.

    Importar tabelas de preparação com mais do que este número de linhas não usará o redimensionamento dinâmico com conjuntos de importação de serviço Web, mesmo se com.glide.ws_import_set.column_resize for verdadeiro.

    Esta propriedade tem um valor máximo de 500.000.

    Propriedades do CSV

    com.glide.csv.loader.ignore_non_parseable_lines
    Permite que uma instância ignore uma ou mais linhas (linhas) que contenham dados incorretos em uma importação de CSV, como uma linha que não tem uma coluna de dados. Por padrão, as importações não podem ignorar dados incorretos em arquivos CSV e falhar no primeiro erro.
    com.glide.csv.loader.max_errors_allowed
    Especifica o número máximo de linhas (linhas) que uma importação pode ignorar antes de falhar. Se a importação for bem-sucedida, a importação listará o número de linhas que a importação ignorou devido a erros.
    glide.import.csv.charset
    O conjunto de caracteres do arquivo CSV a ser importado. Os valores válidos são UTF-8 e WINDOWS-1252. Pode ser necessário usar a formatação UTF-8 ao importar caracteres especiais.

    Propriedades de importação do Excel

    glide.excel.multiplicador
    A quantidade máxima de memória da instância a ser alocada para uma importação do Excel. Esta propriedade se aplica ao importar somente arquivos .XLS.

    O valor desta propriedade é multiplicado pelo tamanho do arquivo do Excel para determinar a alocação total de memória. A memória usada não pode exceder o limite especificado pela propriedade glide.excel.max_memory_percent.

    Por exemplo, com o valor padrão 8 e um arquivo do Excel de 10 MB, a instância usará até 80 MB de memória para a importação.

    glide.xlsx.multiplicador
    A quantidade máxima de memória da instância a ser alocada para uma importação do Excel. Esta propriedade se aplica ao importar somente arquivos .XLSX.

    O valor desta propriedade é multiplicado pelo tamanho do arquivo do Excel para determinar a alocação total de memória. A memória usada não pode exceder o limite especificado pela propriedade glide.excel.max_memory_percent.

    Por exemplo, com o valor padrão 10 e um arquivo do Excel de 10 MB, a instância usará até 100 MB de memória para a importação.

    Nota:
    Não modifique o valor desta propriedade. O valor padrão foi selecionado para desempenho ideal.
    glide.excel.max_memory_percent
    A quantidade máxima de memória permitida para importações do Excel, como uma porcentagem da memória total da instância.
    glide.excel.use_disk_backed_strings_table
    Controla se a instância usa armazenamento em disco para manter dados de arquivo grandes durante a importação de XLSX. Defina esta propriedade como falsa para armazenar dados do arquivo XLSX somente na memória. Definir esta propriedade como falsa aumenta a memória usada durante a importação de XLSX.
    glide.excel.in_memory_strings_table_size_mb
    A quantidade máxima de memória, em megabytes, disponível para armazenar dados de arquivo XLSX antes de gravar no armazenamento em disco quando glide.excel.use_disk_backed_strings_table for verdadeiro. Definir um valor mais baixo para esta propriedade usará menos memória durante a importação do XLSX, mas pode resultar em importações mais lentas.
    glide.xlsx.import.debug
    Habilita o registro em log de depuração para importações de XLSX.
    glide.import.excel.enhanced_number_conversions
    Quando verdadeiro, os valores numéricos superiores a 10 milhões são preservados nas tabelas de preparação de importação. Quando falso, os valores importados superiores a 10 milhões são convertidos em notação científica que pode não corresponder ao valor original importado. Esta propriedade deve ser definida como verdadeira para importar a maioria dos tipos de dados.
    glide.transform.boolean.case sensitive
    Quando verdadeiro, os valores boolianos de maiúsculas de (VERDADEIRO/FALSO) sempre se transformam em falso. Quando falso, os valores boolianos de maiúsculas (VERDADEIRO/FALSO) são transformados corretamente.

    Propriedades da conexão JDBC

    glide.jdbcprobeloader.retry
    O número de vezes que um carregador de probe JDBC tenta processar dados que retornam de uma fonte de dados JDBC. Repete no valor definido em glide.jdbcprobeloader.retry_millis entre novas tentativas.
    glide.jdbcprobeloader.retry_millis
    Quantos milissegundos um carregador de probe JDBC espera entre as novas tentativas de processar dados de uma fonte de dados JDBC.

    Propriedades de registro em log e depuração

    com.glide.import_set.importlog_level
    Especifica a quantidade de informações que os conjuntos de importação adicionam ao log. Os valores possíveis são INFO, AVISO e ERRO. Você pode definir isso como INFO no ambiente de desenvolvimento e alterá-lo para AVISO ou ERRO na produção para reduzir a quantidade de tráfego de ruído de registro em log no banco de dados.
    Nota:
    Esta propriedade não afeta o registro em log relacionado à limpeza de tabelas de preparação.
    glide.import.debug
    Habilita o log de depuração para todos os processos de importação.
    glide.importlog.log_to_table
    Especifica se mensagens de log de nível de informação devem ser gravadas na tabela import_log. Quando verdadeiro, as mensagens de log no nível de informação são gravadas.
    Nota:
    Os logs de nível de informação do IntegrationHub ETL são gravados na tabela importlog.log, independentemente desta configuração de propriedade. Para adicionar exceções adicionais, entre em contato com Now Support.
    glide.import.sftp.debug
    Habilita o registro em log de depuração adicional para importações SFTP. Habilitar esta propriedade fará com que a instância registre em log todas as mensagens de saída e de entrada durante a sessão SSH.
    glide.import.scp.debug
    Habilita o registro em log de depuração adicional para importações SCP. Habilitar esta propriedade fará com que a instância registre em log todas as mensagens de saída e de entrada durante a sessão SSH.