Importações simultâneas
Divida os dados de entrada em vários conjuntos de importação e transforme os conjuntos de importação simultaneamente para reduzir o tempo de processamento.
Executar uma importação simultânea pode ser útil quando o pedido não importa e as importações demoram muito devido a grandes conjuntos de dados com scripts demorados. Se a ordem for importante, você poderá dividir a importação em várias partições para garantir que cada partição seja processada em ordem.
Habilite importações simultâneas somente depois de ajustar todos os outros parâmetros, como índices e transformações de banco de dados.
Programar importações simultâneas
Para habilitar importações simultâneas, selecione Importação simultânea No formulário Importação de dados programada. Para obter instruções, consulte Programe uma importação de dados.
Quando a programação executa uma importação simultânea, o sistema extrai os dados de bancos de dados, planilhas do Excel, arquivos CSV ou outras origens para uma tabela de preparação temporária e transforma os dados da tabela de preparação para a tabela de destino.
Quando você executa uma importação simultânea, o sistema cria vários conjuntos de importação, até o valor de glide.scheduled_import.max.concurrent.import_setspropriedade do sistema (o padrão é 10). Por exemplo, um cluster de dois nós produz quatro conjuntos de importação e um cluster de dez nós produz dez conjuntos de importação.
Trabalho do transformador do conjunto de importação
Cada nó ativo executa dois trabalhos do Transformador de conjunto de importação a cada minuto, e esses trabalhos pesquisam a fila de trabalhos de conjuntos de importação simultâneos, selecionam conjuntos de importação da fila e transformam esses conjuntos de importação. Todos os trabalhos são executados simultaneamente, dependendo da disponibilidade dos threads do trabalhador.
Registro do conjunto de importação simultâneo
Cada importação simultânea cria um registro de Conjunto de importação simultânea. A exibição do formulário mostra todos os conjuntos de importação relacionados, trabalhos de conjunto de importação simultâneos e históricos de transformação.
Você pode retomar ou reprocessar qualquer conjunto de importação. Para obter mais informações, consulte Monitorar conjuntos de importação simultâneos.
Fila de trabalhos de Conjuntos de importação simultânea
Depois de carregar os dados, o sistema adiciona os conjuntos de importação à tabela Trabalhos de conjuntos de importação simultâneos. A tabela Trabalhos de conjuntos de importação simultâneos indica o tipo de trabalho e o status de cada trabalho de conjunto de importação simultâneo.
Para obter mais informações, consulte Monitore trabalhos simultâneos do conjunto de importação.
Particionamento de importações simultâneas
Você pode particionar conjuntos de importação para manter a ordem de processamento em cada partição.
Por padrão, o sistema aloca registros para conjuntos de importação de forma round-robin. No entanto, você pode escrever um script personalizado para definir um personalizado chave de partição que identifica o conjunto de importação de destino. Cada linha com a mesma chave de partição é adicionada ao mesmo conjunto de importação e os dados nesse conjunto de importação são processados em ordem sequencial.
Importações hierárquicas
Você pode criar uma hierarquia de conjunto de importação programada programando uma importação para ser executada após a conclusão de outro conjunto de importação. Uma importação programada primária pode ter muitas importações programadas secundárias, e cada importação programada secundária é executada na ordem especificada. Para importações agendadas simultâneas, as importações programadas secundárias só podem ser iniciadas após a conclusão de todos os trabalhos do transformador do conjunto de importação.
O último trabalho do Transformador do Conjunto de importação inicia a próxima importação na hierarquia.
O sistema gera um plano de execução no início do processo de importação primário. Cada processo de importação usa o plano de execução para buscar o próximo processo a ser invocado. Para importações simultâneas, o último trabalho do Transformador de conjunto de importação busca a próxima importação e a executa.
Inserções sincronizadas
Aglutinar campos ajuda a definir exclusividade entre registros. O processo de transformação verifica se há um registro existente com os valores de aglutinação e atualiza o registro existente, se ele existir, ou insere um novo registro, se nenhum existir. Para obter mais informações, consulte Atualizando registros usando aglutinação.
Por padrão, as importações simultâneas permitem que cada conjunto de importação em execução insira novos registros. Quando um conjunto de importação insere um registro, ele estabelece um bloqueio de gravação na tabela de destino para impedir que outros conjuntos de importação insiram o mesmo registro.
Tabelas para importações simultâneas
| Tabela | Descrição |
|---|---|
| Conjunto de importação simultânea (sys_concurrent_import_set) | Armazena detalhes de cada conjunto de importação simultâneo em registros de conjunto de importação. |
| Conjuntos de importação simultâneos (sys_concurrent_import_set_job) | Lista os conjuntos de importação a serem processados. |
| Contexto de execução para importação programada (sys_execution_context) | Especifica o. contexto de execução para cada importação programada. O contexto de execução especifica a próxima importação programada a ser usada ao processar uma importação programada hierárquica. |
| Plano de execução de importação programada hierárquica (sys_execution_plan). | Armazena o. plano de execução para importações hierárquicas. O plano de execução é uma estrutura de árvore que identifica qual importação programada é executada após a entrada programada anterior. |
Domain Separation com importações simultâneas
Você pode adicionar o campo sys_domain a uma tabela de importação programada para habilitar a separação de domínio para o conjunto de importação. Os trabalhos de carregamento e transformação do conjunto de importação são executados no domínio especificado no trabalho do conjunto de importação programado.