Importações simultâneas
Divida os dados de entrada em vários conjuntos de importação e transforme os conjuntos de importação simultaneamente para reduzir o tempo de processamento.
Executar uma importação simultânea pode ser útil quando a ordem não importa e as importações demoram muito devido a grandes conjuntos de dados com scripts demorados. Se a ordem for importante, você poderá dividir a importação em várias partições para garantir que cada partição seja processada em ordem.
Habilite importações simultâneas somente após ajustar todos os outros parâmetros, como índices de banco de dados e transformações.
Programação de importações simultâneas
Você habilita as importações simultâneas selecionando Importação simultânea no formulário Importação de dados programada. Para obter instruções, consulte Programar uma importação de dados.
Quando a programação executa uma importação simultânea, o sistema extrai os dados de bancos de dados, planilhas do Excel, arquivos CSV ou outras fontes para uma tabela de preparação temporária e transforma os dados da tabela de preparação para a tabela de destino.
Quando você executa uma importação simultânea, o sistema cria vários conjuntos de importação, até o valor da propriedade do sistema glide.scheduled_import.max.concurrent.import_sets (padrão = 10). Por exemplo, um cluster de dois nós produz quatro conjuntos de importação e um cluster de dez nós produz dez conjuntos de importação.
Trabalho do transformador do conjunto de importação
Cada nó ativo executa dois trabalhos do Import Set Transformer a cada minuto e esses trabalhos pesquisam a fila de trabalhos de Import Sets simultâneos, selecionam conjuntos de importação da fila e transformam esses conjuntos de importação. Todos os trabalhos são executados simultaneamente, dependendo da disponibilidade dos threads de trabalho.
Registro de conjunto de importação simultânea
Cada importação simultânea cria um registro de conjunto de importação simultânea. A exibição de formulário mostra todos os conjuntos de importação relacionados, trabalhos de conjunto de importação simultâneos e históricos de transformação.
Você pode retomar ou reprocessar qualquer conjunto de importação. Para obter mais informações, consulte Monitorar conjuntos de importação simultâneos.
Fila de trabalhos de conjuntos de importação simultâneos
Depois de carregar os dados, o sistema adiciona os conjuntos de importação à tabela Trabalhos de conjuntos de importação simultâneos. A tabela Trabalhos de conjuntos de importação simultâneos indica o tipo de trabalho e o status de cada trabalho de conjunto de importação simultâneo.
Para obter mais informações, consulte Monitorar trabalhos de conjunto de importação simultâneos.
Particionando importações simultâneas
Você pode particionar conjuntos de importação para manter a ordem de processamento em cada partição.
Por padrão, o sistema aloca registros para importar conjuntos de forma de Round Robin. No entanto, você pode gravar um script personalizado para definir uma chave de partição personalizada que identifica o conjunto de importação de destino. Cada linha com a mesma chave de partição é adicionada ao mesmo conjunto de importação e os dados nesse conjunto de importação são processados em ordem sequencial.
Importações hierárquicas
Você pode criar uma hierarquia de conjunto de importação programada programando uma importação para ser executada após a conclusão de outro conjunto de importação. Uma importação programada primária pode ter várias importações programadas secundárias e cada importação programada secundária é executada na ordem especificada. Para importações programadas simultâneas, as importações programadas secundárias podem ser iniciadas somente após a conclusão de todos os trabalhos do Import Set Transformer.
O último trabalho do Import Set Transformer inicia a próxima importação na hierarquia.
O sistema gera um plano de execução no início do processo de importação primário. Cada processo de importação usa o plano de execução para buscar o próximo processo a ser invocado. Para importações simultâneas, o último trabalho do Import Set Transformer busca a próxima importação e a executa.
Inserções sincronizadas
Os campos de aglutinação ajudam a definir a exclusividade entre os registros. O processo de transformação verifica se há um registro existente com os valores de aglutinação e atualiza o registro existente, se houver, ou insere um novo registro se não houver nenhum. Para obter mais informações, consulte Atualizando registros usando aglutinação.
Por padrão, as importações simultâneas permitem que cada conjunto de importação em execução insira novos registros. Quando um conjunto de importação insere um registro, ele estabelece um bloqueio de gravação na tabela de destino para impedir que outros conjuntos de importação insiram o mesmo registro.
Tabelas para importações simultâneas
| Tabela | Descrição |
|---|---|
| Conjunto de importação simultânea (sys_concurrent_import_set) | Armazena detalhes de cada conjunto de importação simultâneo em registros de conjunto de importação. |
| Trabalhos de conjunto de importação simultâneos (sys_concurrent_import_set_job) | Lista os conjuntos de importação a serem processados. |
| Contexto de execução para importação programada (sys_execution_context) | Especifica o contexto de execução para cada importação programada. O contexto de execução especifica a próxima importação programada a ser usada ao processar uma importação hierárquica programada. |
| Plano de execução de importação hierárquica programada (sys_execution_plan). | Armazena o plano de execução para importações hierárquicas. O plano de execução é uma estrutura em árvore que identifica qual importação programada é executada após a entrada programada anterior. |
Domain Separation com importações simultâneas
Você pode adicionar o campo sys_domain a uma tabela de importação programada para habilitar a separação de domínio para o conjunto de importação. Os trabalhos de carregamento e transformação do conjunto de importação são executados no domínio especificado no trabalho do conjunto de importação programado.