Fonte de dados do tipo personalizado (carregar por script)

Use um script personalizado para armazenar qualquer tipo de dados de entrada na tabela de conjunto de importação.

Quando você seleciona um Tipo de Personalizado (Carregar por script) para sua fonte de dados, o campo Carregador de dados é exibido. O campo Carregador de dados é um campo JavaScript no qual você pode inserir um script para buscar dados e inseri-los na tabela de conjunto para importação usando o parâmetro de entrada import_set_table. Por exemplo, você pode inserir um script para obter dados de uma REST API ou de um anexo de arquivo.

O script do Carregador de dados carrega os dados. Você também pode Habilitar o carregamento paralelo para usar um script para particionar os dados em seções menores e carregá-los em paralelo. O carregamento paralelo pode permitir que suas integrações sejam concluídas em menos tempo e criem menos impacto em outras tarefas.

Nota:

Com o carregamento paralelo, você deve estar executando uma importação simultânea e o Método de partição para a importação deve ser definido como Tamanho personalizado. Para obter mais informações, consulte Programar uma importação de dados.

Script do carregador de dados

O script do carregador de dados tem os seguintes parâmetros de entrada.

• import_set_table: a tabela do conjunto de importação referenciada no registro da fonte de dados. Os dados são inseridos nesta tabela.
• data_source: a fonte de dados mencionada no registro de fonte de dados.
• import_log: o log que registra informações sobre a atividade de importação de dados.
• last_success_import_time: a última vez em que esta fonte de dados foi executada com sucesso.
• partição_info: as informações de particionamento dos dados. Usado para carregamento paralelo.

O parâmetro import_set_table tem os seguintes métodos:

• addColumn(label, maxLength): adiciona uma coluna do tipo cadeia de caracteres à tabela de conjunto para importação.
• addJSONColumn(label, maxLength): adiciona uma coluna do tipo JSON à tabela de conjunto para importação.
• addXMLColumn(label, maxLength): adiciona uma coluna do tipo XML à tabela de conjunto para importação.
• insert(rowData): insere um mapa (chave = nome da coluna, valor = valor da coluna) na tabela de conjunto de importação.
• getMaximumRows(): retorna 20 quando você seleciona Testar carregamento de 20 registros. Em todos os outros casos, retorna -1.

Exemplo de carregador de dados

Script de carregamento paralelo

O script de carregamento paralelo tem os seguintes parâmetros de entrada.

• paralelo_job_loader: a tabela Trabalhos paralelos [sys_parallel_job].
• data_source: a fonte de dados mencionada no registro de fonte de dados.
• import_log: o log que registra informações sobre a atividade de importação de dados.

O parâmetro paralelo_job_loader tem o método add(partitionInfo), que adiciona as informações de partição à tabela Trabalhos paralelos [sys_parallel_job].

Exemplo de carregamento paralelo

Propriedades e status do carregamento paralelo

Se um trabalho ficar travado no estado Em execução por mais de 600 minutos, ele será colocado automaticamente de volta no estado Pendente. Você pode modificar a quantidade de tempo que um trabalho paralelo pode ficar travado em um estado de execução com a propriedade com.glide.system_parallel_job_inactive_time_minutes.

Se um trabalho paralelo não puder ser concluído após duas tentativas, o trabalho será definido como Erro. Você pode modificar o número de tentativas antes de ter um estado de erro com a propriedade com.glide.system_parallel_job_max_retry_count. A propriedade com.glide.system_parallel_job_auto_retry pode ser definida como falsa para desabilitar a nova tentativa automática.

Você pode verificar o status das suas tarefas de importação paralela atuais navegando até Todos > Conjuntos para importação do sistema > Avançado > Conjuntos para importação simultâneos, selecionando seu trabalho e exibindo a guia Trabalhos paralelos.

Preenchimento automático de script

Conforme você digita o script, o preenchimento automático do script exibe as opções disponíveis, conforme mostrado neste exemplo.