Exportations parallèles

Fractionnez les données sortantes en plusieurs ensembles de données à exporter et traitez les ensembles de données à exporter en parallèle pour réduire le temps de traitement.

L’exécution d’une exportation parallèle peut être utile lorsque les exportations prennent beaucoup de temps en raison de jeux de données volumineux avec des scripts chronophages.

L’exportation parallèle est particulièrement efficace pour les exportations de 50 000 enregistrements ou plus. Si votre exportation ne répond pas aux exigences minimales, le système utilise automatiquement le traitement des exportations standard.

Comment fonctionnent les exportations parallèles

Lorsque vous activez l’exportation parallèle, le système divise vos données en plusieurs parties et les traite simultanément pour réduire le temps de traitement. Le nombre de blocs dépend de la configuration de votre nœud d’instance et est calculé comme suit : Nombre de blocs = (nombre de nœuds) × (facteur d’échelle). Le facteur d’échelle par défaut est de un, et un minimum de deux blocs est requis.

Lorsque vous exécutez une exportation parallèle, le système crée plusieurs ensembles d’exportations, jusqu’à la valeur de la glide.scheduled_export.min_rows_for_parallel_export propriété système (valeur par défaut = 10). Par exemple :

• Un cluster à deux nœuds produit quatre ensembles de données à exportations
• Une grappe de dix nœuds produit 10 ensembles de données à exporter

Chaque nœud actif exécute deux tâches de processeur d’exportation d’un jeu de données par minute. Ces emplois :

1. Interroger la file d’attente des tâches d’ensembles d’exportations parallèles
2. Choisir des ensembles de données à exporter dans la file d’attente
3. Traiter les ensembles de données à exporter

Toutes les tâches s’exécutent simultanément, en fonction de la disponibilité des threads de travail.

Structure d’enregistrement d’exportation parallèle

Chaque exportation parallèle crée un enregistrement d’ensemble de données à exporter parallèlement. La vue de formulaire affiche :

• Tous les ensembles de données à exportations connexes
• Tâches d’exportation parallèle d’ensembles de données
• Historiques des exportations

L’exportation parallèle nécessite 50 000 lignes par défaut. Ce seuil permet d’utiliser le traitement parallèle uniquement pour les jeux de données volumineux où il offre des avantages significatifs en termes de performances.

Pour personnaliser ce seuil, créez la propriété glide.scheduled_export.min_rows_for_parallel_export système avec une valeur entière.

Lorsque l’exportation s’exécute avec l’exportation parallèle activée :

• Un enregistrement d’exportation d’un ensemble de données parallèle est créé avec un préfixe PESO (exemple : PESO010001)
• Plusieurs enregistrements parallèles d’ensembles de données à exporter sont créés, un par bloc, avec un préfixe PESJ (exemple : PESJ0010001, PESJ0010002)
• Plusieurs enregistrements d’historique des exportations sont créés, un par bloc
• Chaque enregistrement d’historique d’exportation contient une pièce jointe exportée

Les champs Jeu d’exportation parallèle et Tâche d’exportation parallèle des enregistrements de l’historique des exportations sont liés au jeu d’exportation parallèle et aux travaux individuels.

Les fichiers des exportations parallèles sont stockés sur le serveur MID dans un sous-dossier parallèle : {MID_Server}/agent/export/parallel/{configured_path}/. Le format de dénomination de fichier inclut le numéro d’exportation d’un jeu de données parallèle, le nom d’un jeu de données à exporter, l’horodatage et le numéro de fichier séquentiel : Exemple : PESO0100001_incident__20251204001638_1.xlsx. Le numéro de fichier s’incrémente pour chaque bloc (_1, _2, _3, etc.).