Modifier le flux dans Studio de workflow

Modifiez le flux pour confirmer que la pagination est implémentée correctement. Cela confirme que les données sont importées correctement.

Il existe quatre méthodes d’importation par lots :

• Néant
• Décalage
• Basé sur l'heure
• Basé sur un jeton

Aucune importation par lots

Sélectionnez la méthode d’importation par lots Aucun si vous ne souhaitez pas utiliser la méthode de pagination fournie dans Centre d'automatisation. Aucune étape n’est requise ici.

Importation par lots basée sur le décalage

Sélectionnez la méthode d’importation par lots basée sur le décalage (méthode de pagination) si vous souhaitez importer des données à l’aide d’un point de départ spécifique (décalage) et d’une taille de lot (limite).

• Décalage : point de départ pour l’importation de données.
• Nombre total d’éléments : nombre total d’enregistrements que vous souhaitez importer.
• Limite : nombre d’enregistrements à importer dans chaque lot.

Par exemple : si vous définissez le décalage sur 20, le nombre total d’éléments sur 200 et la limite sur 10, le système importera les données par lots de 10 enregistrements à partir de l’enregistrement 20 et jusqu’à ce que les 200 enregistrements soient importés.

Étapes de configuration

1. Dans l’action Obtenir les blocs de pagination basés sur le décalage SourceHub , spécifiez des valeurs pour les champs de décalage, d’éléments totaux et de limite, puis sélectionnez Terminé.

   Une fois les valeurs définies, le champ chunks_child0 sera disponible dans le panneau de droite (sous Pour chaque).

2. Pour l’action que vous avez sélectionnée lors de l’étape Sélectionner une action , mappez la limite de l’action Obtenir les blocs de pagination basés sur le décalage SourceHub et les valeurs de décalage à l’aide de la sortie de champ chunks_child0 générée par l’action Obtenir les blocs de pagination basés sur le décalage SourceHub .

   

   Gestion des actions qui ne prennent pas en charge la limite et le décalage

   Mappez les valeurs limites et de décalage dans votre action à l’aide de la sortie renvoyée par l’action de blocs de pagination basés sur le décalage SourceHub.

   Si l’action que vous avez sélectionnée n’a pas de paramètres prédéfinis pour la pagination basée sur le décalage, mais inclut un filtre qui peut prendre en charge ces paramètres, vous pouvez effectuer l’une des opérations suivantes :

   • Option 1 : Ajoutez une action juste avant l’action que vous avez sélectionnée pour gérer la limite et le décalage. Cette action devrait générer une requête que l’action primaire peut utiliser pour extraire des données.
   • Option 2 : copiez votre action primaire, modifiez-la pour inclure des entrées pour la limite et le décalage, et traitez ces entrées pour créer une requête. Transmettez cette requête au filtre de votre action d’origine.
   Remarque :

   Si vous choisissez l’option 2, assurez-vous de créer d’abord une copie de l’action d’origine. Après la copie, sélectionnez à nouveau l’action copiée à l’étape Sélectionner une action et régénérez le flux. Pour plus d’informations sur la sélection d’une action, reportez-vous à la section Sélectionner une action.
3. Sélectionnez Terminé et testez.
4. Suivez les étapes 3 et suivantes dans .Configurer l’importation par lots pour les données

Importation par lots basée sur le temps

Sélectionnez la méthode d’importation par lots basée sur le temps si vous souhaitez importer des données pour une plage de dates spécifique.

Étapes de configuration

1. Dans l’action SourceHub Obtenir les blocs de pagination basés sur la date , spécifiez la date de début et la date de fin, puis cliquez sur Terminé.

   Une fois vos valeurs définies, le champ de plage dans votre panneau de droite est disponible.

2. Pour l’action que vous avez sélectionnée pendant l’étape Sélectionner une action , mappez les valeurs de date de début et de date de fin à l’aide de la sortie de champ de plage générée par l’action SourceHub Obtenir les blocs de pagination basés sur la date .

   Format de date

   Le gestionnaire de connexion utilise et renvoie des dates au format : AAAA :MM :JJ :HH :MM :SS. Si votre action prend en charge les plages de dates, le format est automatiquement appliqué.

   Gestion des actions qui ne prennent pas en charge les plages de dates

   Si votre action ne prend pas automatiquement en charge les plages de dates, mais inclut un filtre pour les paramètres personnalisés, vous pouvez suivre l’une des approches suivantes.

   • Option 1 : ajoutez une action avant l’action que vous avez sélectionnée pour gérer la date de début et la date de fin. Cette action devrait générer une requête que votre action primaire peut utiliser pour extraire des données.
   • Option 2 : copiez votre action principale et modifiez-la pour inclure des entrées pour la date de début et la date de fin. Traitez ces entrées dans l’action pour créer une requête et la transmettre au filtre de votre action d’origine.

     

     Remarque :

     Si vous choisissez l’option 2, assurez-vous de créer d’abord une copie de l’action d’origine. Après la copie, sélectionnez à nouveau l’action copiée à l’étape Sélectionner une action et régénérez le flux. Pour plus d’informations sur la sélection d’une action, reportez-vous à la section Sélectionner une action.
3. Sélectionnez Terminé et testez.
4. Suivez les étapes 3 et suivantes dans .Configurer l’importation par lots pour les données

Importation par lots basée sur un jeton

Sélectionnez la méthode d’importation par lots basée sur un jeton si vous souhaitez importer des données à l’aide d’un jeton de continuation.

Lorsque vous sélectionnez la méthode d’importation par lots basée sur un jeton sur la page Configurer l’importation par lots , vous devez fournir un nom pour le jeton. Ce jeton représente la valeur de continuation renvoyée par votre action (par exemple, next_url, next_token, ou suivante). Assurez-vous que le nom du jeton correspond exactement à ce qu’il a été renvoyé par l’action, y compris l’orthographe et les majuscules.

Étapes de configuration

1. Si le nom du jeton fourni est correct, la condition d’exécution le mappe automatiquement. S’il reste vide, faites glisser manuellement le jeton de continuation de la sortie de votre action vers le champ de condition de la logique de tâche.
2. Ajoutez une variable de flux de type chaîne pour stocker la valeur mise à jour du jeton.
3. Enregistrez vos modifications, puis cliquez sur Terminé.
4. Insérez une étape logique Définir les variables de flux après l’action sélectionnée. Dans cette étape, définissez la valeur de la variable de flux nouvellement créée sur le jeton de continuation renvoyé par votre action. Assurez-vous que ce jeton correspond à celui mappé à la condition de transition.

   

5. Sélectionnez Terminé et testez.
6. Suivez les étapes 3 et suivantes dans .Configurer l’importation par lots pour les données