Importações simultâneas
Divida os dados de entrada em vários conjuntos para importação e transforme-os simultaneamente para reduzir o tempo de processamento.
A execução de uma importação simultânea pode ser útil quando a ordem não importa e as importações demoram muito devido a grandes conjuntos de dados com scripts demorados. Se a ordem for importante, você poderá dividir a importação em várias partições para garantir que cada partição seja processada em ordem.
Habilite as importações simultâneas somente após ajustar todos os outros parâmetros, como índices de banco de dados e transformações.
Como programar importações simultâneas
Você habilita as importações simultâneas selecionando Importação simultânea no formulário Importação de dados programada. Para obter instruções, consulte Programar uma importação de dados.
Quando a programação executa uma importação simultânea, o sistema extrai os dados de bancos de dados, planilhas do Excel, arquivos CSV ou outras origens para uma tabela de preparação temporária e transforma os dados da tabela de preparação na tabela de destino.
Quando você executa uma importação simultânea, o sistema cria vários conjuntos para importação até o valor da propriedade do sistema glide.scheduled_import.max.concurrent.import_sets (padrão = 10). Por exemplo, um cluster de dois nós produz quatro conjuntos para importação e um cluster de dez nós produz dez conjuntos para importação.
Trabalho do transformador do conjunto de importação
Cada nó ativo executa dois trabalhos do transformador de conjunto de importação a cada minuto, e esses trabalhos pesquisam a fila de trabalhos de conjuntos para importação simultâneos, selecionam conjuntos para importação da fila e os transformam. Todos os trabalhos são executados simultaneamente, dependendo da disponibilidade de threads de trabalhador.
Registro de conjunto de importação simultâneo
Cada importação simultânea cria um registro de Conjunto para importação simultâneo. A exibição de formulário mostra todos os conjuntos para importação relacionados, trabalhos de conjunto para importação simultâneo e históricos de transformação.
Você pode retomar ou reprocessar qualquer conjunto de importação. Para obter mais informações, consulte Monitorar conjuntos para importação simultâneos.
Fila de trabalhos de conjuntos para importação simultâneos
Depois de carregar os dados, o sistema adiciona os conjuntos para importação à tabela Trabalhos de conjuntos para importação simultâneos. A tabela Trabalhos de conjuntos para importação simultâneos indica o tipo de trabalho e o status de cada trabalho de conjunto para importação simultâneo.
Para obter mais informações, consulte Monitorar trabalhos simultâneos do conjunto de importação.
Particionando importações simultâneas
Você pode particionar conjuntos para importação para manter a ordem de processamento em cada partição.
Por padrão, o sistema aloca registros para conjuntos para importação de forma de rodízio. No entanto, você pode gravar um script personalizado para definir uma chave de partição personalizada que identifica o conjunto de importação de destino. Cada linha com a mesma chave de partição é adicionada ao mesmo conjunto de importação e os dados nesse conjunto de importação são processados em ordem sequencial.
Importações hierárquicas
Você pode criar uma hierarquia de conjunto de importação programada programando uma importação para ser executada após a conclusão de outro conjunto de importação. Uma importação agendada primária pode ter várias importações agendadas secundárias e cada importação agendada secundária é executada na ordem especificada. Para importações agendadas simultâneas, as importações agendadas secundárias podem ser iniciadas somente após a conclusão de todos os trabalhos do Transformador do conjunto de importação.
O último trabalho do Transformador do conjunto de importação inicia a próxima importação na hierarquia.
O sistema gera um plano de execução no início do processo de importação primário. Cada processo de importação usa o plano de execução para buscar o próximo processo a ser invocado. Para importações simultâneas, o último trabalho do transformador de conjunto de importação busca a próxima importação e a executa.
Inserções sincronizadas
Os campos de aglutinação ajudam a definir a exclusividade entre os registros. O processo de transformação verifica se há um registro existente com os valores de aglutinação e atualiza o registro existente, se houver, ou insere um novo registro, se não existir nenhum. Para obter mais informações, consulte Atualizando registros usando aglutinação.
Por padrão, as importações simultâneas permitem que cada conjunto de importação em execução insira novos registros. Quando um conjunto de importação insere um registro, ele estabelece um bloqueio de gravação na tabela de destino para impedir que outros conjuntos de importação insiram o mesmo registro.
Tabelas para importações simultâneas
| Tabela | Descrição |
|---|---|
| Conjunto para importação simultâneo (sys_concurrent_import_set) | Armazena detalhes de cada conjunto de importação simultâneo em registros de conjunto de importação. |
| Trabalhos simultâneos do conjunto de importação (sys_concurrent_import_set_job) | Lista os conjuntos para importação a serem processados. |
| Contexto de execução para importação agendada (sys_execution_context) | Especifica o contexto de execução para cada importação agendada. O contexto de execução especifica a próxima importação agendada a ser usada ao processar uma importação hierárquica agendada. |
| Plano de execução da importação hierárquica agendada (sys_execution_plan). | Armazena o plano de execução para importações hierárquicas. O plano de execução é uma estrutura em árvore que identifica qual importação programada é executada após a entrada programada anterior. |
Separação de domínios com importações simultâneas
Você pode adicionar o campo sys_domain a uma tabela de importação agendada para habilitar a separação de domínio para o conjunto de importação. Os trabalhos de carregamento e transformação do conjunto de importação são executados no domínio especificado no trabalho de conjunto de importação programado.