Editar fluxo em Workflow Studio

Edite o fluxo para confirmar que a paginação foi implementada corretamente. Confirma que os dados foram importados corretamente.

Há quatro métodos de importação em lote:

• Nenhum(a)
• Deslocamento
• Baseado em tempo
• Baseado em token

Nenhuma importação em lote

Se você não quiser usar o método de paginação fornecido em Central de automação. Nenhuma etapa é necessária aqui.

Importação em lote baseada em deslocamento

Selecione o método de importação em lote baseado em deslocamento (método de paginação) se quiser importar dados usando um ponto de início específico (deslocamento) e um tamanho de lote (limite).

• Deslocamento : O ponto de partida para importar dados.
• Total de itens Número total de registros que você deseja importar.
• Limite Número de registros a serem importados em cada lote.

Por exemplo: Se você definir o deslocamento como 20, Total de itens como 200 e Limite como 10, o sistema importará dados em lotes de 10 registros a partir do registro 20 e continuará até que todos os 200 registros sejam importados.

Etapas a serem configuradas

1. Em SourceHub obtém blocos de paginação baseados em deslocamento especifique valores para os campos deslocamento, total de itens e limite e selecione Concluído .

   Depois que os valores são definidos, o. chunks_child0 o campo estará disponível no painel direito (em Para cada um ).

2. Para a ação selecionada durante Selecione Ação mapeie o limite de SourceHub obtém blocos de paginação baseados em deslocamento valores de ação e deslocamento usando chunks_child0 saída de campo gerada pelo SourceHub obtém blocos de paginação baseados em deslocamento ação.

   

   Lidar com ações que não são compatíveis com limite e deslocamento

   Mapeie os valores de limite e deslocamento em sua ação usando a saída retornada pela ação Obter blocos de paginação baseados em deslocamento do SourceHub.

   Se a ação selecionada não tiver parâmetros predefinidos para paginação baseada em deslocamento, mas incluir um filtro que possa acomodar esses parâmetros, você poderá fazer o seguinte:

   • Opção 1 : Adicione uma ação um pouco antes da ação selecionada para lidar com o limite e o deslocamento. Esta ação deve gerar uma consulta que a ação primária pode usar para buscar dados.
   • Opção 2 : Copie sua ação primária, modifique-a para incluir entradas para limite e deslocamento e processe essas entradas para criar uma consulta. Passe esta consulta para o filtro da sua ação original.
   Nota:

   Se você escolher a opção 2, certifique-se de criar uma cópia da ação original primeiro. Depois de copiar, selecione novamente a ação copiada em Selecione Ação e gere novamente o fluxo. Para obter informações sobre como selecionar uma ação, consulte Selecionar uma ação.
3. Selecione Concluído e. Teste .
4. Siga as etapas de 3 a 5 em diante em Configurar importação em lote para dados.

Importação em lote baseada em tempo

Selecione o método de importação em lote baseado em tempo se quiser importar dados para um intervalo de datas específico.

Etapas a serem configuradas

1. Em SourceHub Obter blocos de paginação baseados em data especifique a data de início e a data de término e clique em Concluído .

   Depois que os valores são definidos, o. intervalo o campo no painel direito está disponível.

2. Para a ação selecionada durante Selecione Ação mapeie os valores de data de início e data de término usando intervalo saída de campo gerada pelo SourceHub Obter blocos de paginação baseados em data ação.

   Formato de data

   O Gerenciador de Conexões usa e retorna datas no formato: AAAA:MM:DD:HH:MM:SS. Se sua Ação oferecer suporte a intervalos de datas, o formato será aplicado automaticamente.

   Lidar com ações que não são compatíveis com intervalos de datas

   Se sua ação não oferecer suporte automaticamente a intervalos de datas, mas incluir um filtro para parâmetros personalizados, você poderá seguir uma dessas abordagens.

   • Opção 1 : Adicione uma ação antes da ação selecionada para lidar com a data de início e a data de término. Esta ação deve gerar uma consulta que sua ação primária pode usar para buscar dados.
   • Opção 2 : Copie sua ação primária e modifique-a para incluir entradas para data de início e data de término. Processe essas entradas na ação para criar uma consulta e passá-la para o filtro da ação original.

     

     Nota:

     Se você escolher a opção 2, certifique-se de criar uma cópia da ação original primeiro. Depois de copiar, selecione novamente a ação copiada em Selecione Ação e gere novamente o fluxo. Para obter informações sobre como selecionar uma ação, consulte Selecionar uma ação.
3. Selecione Concluído e. Teste .
4. Siga as etapas de 3 a 5 em diante em Configurar importação em lote para dados.

Importação em lote baseada em token

Selecione o método de importação em lote baseado em token se quiser importar dados usando um token de continuação.

Quando você seleciona o método de importação em lote baseado em token no Configurar importação em lote , você deve fornecer um nome para o token. Este token representa o valor de continuação retornado por sua ação (como next_url, next_token ou next). Certifique-se de que o nome do token corresponda exatamente como foi retornado da ação, incluindo ortografia e maiúsculas.

Etapas a serem configuradas

1. Se o nome do token fornecido estiver correto, a condição do-while o mapeará automaticamente. Se ele permanecer em branco, arraste manualmente o token de continuação da saída da ação para o campo Condição da lógica do-while.
2. Adicione um Variável de fluxo do tipo cadeia de caracteres para armazenar o valor atualizado do token.
3. Salve suas mudanças e clique em Concluído .
4. Insira um Variável de fluxo etapa de lógica após a ação selecionada. Nesta etapa, defina o valor da variável de fluxo recém-criada como o token de continuação retornado por sua ação. Certifique-se de que este token corresponda ao mapeado para a condição do-while.

   

5. Selecione Concluído e. Teste .
6. Siga as etapas de 3 a 5 em diante em Configurar importação em lote para dados.