Fonte de dados do tipo personalizado (Carregar por script)

Use um script personalizado para armazenar qualquer tipo de dados de entrada na tabela de conjunto de importação.

Quando você seleciona um Tipo de Personalizado (Carregar por script) para sua fonte de dados, o. Carregador de dados o campo é exibido. . Carregador de dados O campo é um campo JavaScript em que você pode inserir um script para buscar dados e inseri-los na tabela de conjunto de importação usando o. import_set_tableparâmetro de entrada. Por exemplo, você pode inserir um script para obter dados de uma REST API ou um anexo de arquivo.

. Carregador de dados o script carrega os dados. Você também pode Habilite o carregamento paralelo para usar um script para particionar os dados em seções menores, carregue-os em paralelo. O carregamento paralelo pode permitir que suas integrações terminem em menos tempo e criem menos impacto em outras tarefas.

Nota:

Com o carregamento paralelo, você deve executar uma importação simultânea e o. Método de partição para a importação deve ser definido como Tamanho personalizado . Para obter mais informações, consulte Programe uma importação de dados.

Script do carregador de dados

O script do carregador de dados tem os seguintes parâmetros de entrada.

• import_set_table : A tabela do conjunto de importação mencionada no registro da fonte de dados. Os dados são inseridos nesta tabela.
• data_source : A fonte de dados mencionada no registro da fonte de dados.
• import_log : O log que registra informações sobre a atividade de importação de dados.
• last_success_import_time : A última vez em que esta fonte de dados foi executada com sucesso.
• partition_info : As informações de particionamento dos dados. Usado para carregamento paralelo.

O parâmetro import_set_table tem os seguintes métodos:

• AddColumn(rótulo, maxLength) : Adiciona uma coluna do tipo cadeia de caracteres à tabela do conjunto de importação.
• AddJSONColumn(rótulo, maxLength) : Adiciona uma coluna do tipo JSON à tabela de conjunto de importação.
• AddXMLColumn(rótulo, maxLength) : Adiciona uma coluna do tipo XML à tabela do conjunto de importação.
• Inserir (rowData) : Insere um mapa (chave: Nome da coluna, valor: Valor da coluna) na tabela do conjunto de importação.
• GetMaximumRows() : Retorna 20 quando você seleciona Teste 20 registros de carga . Em todos os outros casos, retorna -1 .

Exemplo de carregador de dados

Script de carregamento paralelo

O script de carregamento paralelo tem os seguintes parâmetros de entrada.

• parallel_job_loader : A tabela Trabalhos paralelos [sys_parallel_job].
• data_source : A fonte de dados mencionada no registro da fonte de dados.
• import_log : O log que registra informações sobre a atividade de importação de dados.

O parâmetro parallel_job_loader tem Adicionar(PartitionInfo) Método, que adiciona as informações de partição à tabela Trabalhos paralelos [sys_parallel_job].

Exemplo de carregamento paralelo

Status e propriedades de carregamento paralelo

Se um trabalho ficar preso em um Em execução estado por mais de 600 minutos, ele é colocado automaticamente de volta em a. Pendente estado. Você pode modificar a quantidade de tempo que um trabalho paralelo pode ficar preso em um estado de execução com com.glide.system_parallel_job_inactive_time_minutespropriedade.

Se um trabalho paralelo não puder ser concluído após duas tentativas, o trabalho será definido como Erro . Você pode modificar o número de tentativas antes de ter um estado de erro com com.glide.system_parallel_job_max_retry_countpropriedade. . com.glide.system_parallel_job_auto_retrya propriedade pode ser definida como falsa para desabilitar a nova tentativa automática.

Você pode verificar o status de suas tarefas de importação paralelas atuais navegando até Tudo > Conjuntos para importação do sistema > Avançado > Conjuntos para importação simultâneos, Selecionando seu trabalho e exibindo a guia Trabalhos paralelos.

Script de preenchimento automático

À medida que você digita o script, o preenchimento automático do script exibe as opções disponíveis, conforme mostrado neste exemplo.