Edite o fluxo em Workflow Studio
Edite o fluxo para confirmar se a paginação foi implementada corretamente. Isso confirma que os dados foram importados corretamente.
- Nenhum(a)
- Deslocamento
- Baseado em tempo
- Baseado em token
Nenhuma importação em lote
Selecione o método de importação em lote nenhum se não quiser usar o método de paginação fornecido em Central de automação. Nenhuma etapa é necessária aqui.
Importação em lote baseada em deslocamento
Selecione o método de importação em lote baseado em deslocamento (método de paginação) se quiser importar dados usando um ponto inicial específico (deslocamento) e um tamanho de lote (limite).
- Deslocamento : O ponto de partida para importar dados.
- Total de itens : O número total de registros que você deseja importar.
- Limite : O número de registros a serem importados em cada lote.
Por exemplo: Se você definir o deslocamento como 20, Total de itens como 200 e Limite como 10, o sistema importará dados em lotes de 10 registros a partir do registro 20 e continuará até que todos os 200 registros sejam importados.
Etapas para configurar
- Em SourceHub Obter blocos de paginação baseados em deslocamento ação, especifique valores para os campos deslocamento, total de itens e limite e selecione Concluído .
Depois que os valores são definidos, o. chunks_child0 o campo estará disponível no painel direito (em Para cada ).
Para a ação selecionada durante Selecione Ação mapear o limite de SourceHub Obter blocos de paginação baseados em deslocamento valores de ação e deslocamento usando chunks_child0 saída de campo gerada pelo SourceHub Obter blocos de paginação baseados em deslocamento ação.
Lidar com ações que não são compatíveis com limite e deslocamento
Mapeie os valores de limite e deslocamento em sua ação usando a saída retornada pela ação Obter blocos de paginação baseados em deslocamento do SourceHub.
Se a ação selecionada não tiver parâmetros predefinidos para paginação baseada em deslocamento, mas incluir um filtro que possa acomodar esses parâmetros, você poderá executar um dos seguintes procedimentos:
- Opção 1 : Adicione uma ação imediatamente antes da ação selecionada para lidar com o limite e o deslocamento. Esta ação deve gerar uma consulta que a ação primária pode usar para buscar dados.
- Opção 2 : Copie sua ação primária, modifique-a para incluir entradas para limite e deslocamento e processe essas entradas para criar uma consulta. Passe esta consulta para o filtro da sua ação original.
Nota:Se você escolher a opção 2, certifique-se de criar uma cópia da ação original primeiro. Após copiar, selecione novamente a ação copiada no Selecione Ação e gere novamente o fluxo. Para obter informações sobre como selecionar uma ação, consulte Selecionar uma ação.- Selecione Concluído e. Teste .
- Siga as etapas de 3 a 5 em diante em Configure a importação em lote para dados.
Importação em lote baseada em tempo
Selecione o método de importação em lote baseado em tempo se quiser importar dados para um intervalo de datas específico.
Etapas para configurar
- Em SourceHub Obter blocos de paginação baseada em data especifique a data de início e a data de término e clique em Concluído .
Depois que os valores forem definidos, o. intervalo o campo no painel direito está disponível.
- Para a ação selecionada durante Selecione Ação etapa, mapeie os valores de data de início e data de término usando intervalo saída de campo gerada pelo SourceHub Obter blocos de paginação baseada em data ação.
Formato de data
O Gerenciador de Conexões usa e retorna datas no formato: AAAA:MM:DD:HH:MM:SS. Se a sua Ação for compatível com intervalos de datas, o formato será aplicado automaticamente.
Lidar com ações que não são compatíveis com intervalos de datas
Se sua ação não oferecer suporte automaticamente a intervalos de datas, mas incluir um filtro para parâmetros personalizados, você poderá seguir uma dessas abordagens.- Opção 1 : Adicione uma ação antes da ação selecionada para processar a data de início e a data de término. Esta ação deve gerar uma consulta que sua ação primária pode usar para buscar dados.
- Opção 2 : Copie sua ação primária e modifique-a para incluir entradas para data de início e data de término. Processe essas entradas na ação para criar uma consulta e passá-la para o filtro da sua ação original.Nota:Se você escolher a opção 2, certifique-se de criar uma cópia da ação original primeiro. Após copiar, selecione novamente a ação copiada no Selecione Ação e gere novamente o fluxo. Para obter informações sobre como selecionar uma ação, consulte Selecionar uma ação.
- Selecione Concluído e. Teste .
- Siga as etapas de 3 a 5 em diante em Configure a importação em lote para dados.
Importação em lote baseada em token
Selecione o método de importação em lote baseado em token se quiser importar dados usando um token de continuação.
Quando você seleciona o método de importação em lote baseado em token no Configure a importação em lote , você deve fornecer um nome para o token. Este token representa o valor de continuação retornado pela sua ação (como next_url, next_token ou next). Certifique-se de que o nome do token corresponda exatamente ao que foi retornado da ação, incluindo ortografia e capitalização.
Etapas para configurar
- Se o nome do token fornecido estiver correto, a condição do-while o mapeará automaticamente. Se ele permanecer em branco, arraste manualmente o token de continuação da saída da sua ação para o campo Condição da lógica do while.
- Adicione um Variável de fluxo do tipo cadeia de caracteres para armazenar o valor atualizado do token.
- Salve suas mudanças e clique em Concluído .
- Insira um Defina Variável de fluxo etapa lógica após a ação selecionada. Nesta etapa, defina o valor da variável de fluxo recém-criada como o token de continuação retornado pela sua ação. Certifique-se de que este token corresponda ao mapeado para a condição do-while.
- Selecione Concluído e. Teste .
- Siga as etapas de 3 a 5 em diante em Configure a importação em lote para dados.