Source de données de type personnalisé (chargement par script)

Utilisez un script personnalisé pour stocker n’importe quel type de données entrantes dans la table des jeux d’importation.

Lorsque vous sélectionnez un type de personnalisation (chargement par script) pour votre source de données, le champ Data Loader (Chargeur de données ) s’affiche. Le champ Data Loader (Chargeur de données ) est un champ JavaScript dans lequel vous pouvez entrer un script pour extraire des données et les insérer dans la table d’ensembles de données à importer à l’aide du paramètre d’entrée import_set_table . Par exemple, vous pouvez entrer un script pour obtenir des données à partir d’une API REST ou d’une pièce jointe.

Le script Data Loader charge les données. Vous pouvez également activer le chargement parallèle pour utiliser un script afin de partitionner les données en sections plus petites, puis les charger en parallèle. Le chargement parallèle peut permettre à vos intégrations de se terminer en moins de temps et de créer moins d’impact sur d’autres tâches.

Remarque :

Avec le chargement parallèle, vous devez exécuter une importation simultanée et la méthode de partition pour l’importation doit être définie sur Taille personnalisée. Pour plus d'informations, reportez-vous à la section Planifier une importation de données.

Script du chargeur de données

Le script de chargeur de données comporte les paramètres d’entrée suivants.

• import_set_table : table d’ensembles de données à importer mentionnée dans l’enregistrement de source de données. Les données sont insérées dans cette table.
• data_source : source de données à laquelle il est fait référence dans l’enregistrement de la source de données.
• import_log : journal qui enregistre des informations sur l’activité d’importation de données.
• last_success_import_time : dernière fois que cette source de données a été exécutée avec succès.
• partition_info : informations de partitionnement des données. Utilisé pour le chargement parallèle.

Le paramètre import_set_table a les méthodes suivantes :

• addColumn(étiquette, maxLength) : ajoute une colonne de type chaîne à la table de jeux d’importation.
• addJSONColumn(étiquette, maxLength) : ajoute une colonne de type JSON à la table d’ensembles de données à importer.
• addXMLColumn(étiquette, maxLength) : ajoute une colonne de type XML à la table de jeux d’importation.
• insert(rowData) : insère une carte (clé = nom de colonne, valeur = valeur de colonne) dans la table de jeux d’importation.
• getMaximumRows() : renvoie 20 lorsque vous sélectionnez Tester le chargement de 20 enregistrements. Dans tous les autres cas, renvoie -1.

Exemple de chargeur de données

Script de chargement parallèle

Le script de chargement parallèle comporte les paramètres d’entrée suivants.

• parallel_job_loader : table Tâches parallèles [sys_parallel_job].
• data_source : source de données à laquelle il est fait référence dans l’enregistrement de la source de données.
• import_log : journal qui enregistre des informations sur l’activité d’importation de données.

Le paramètre parallel_job_loader a la méthode add(partitionInfo), qui ajoute les informations de partition à la table Tâches parallèles [sys_parallel_job].

Exemple de chargement parallèle

Propriétés et état du chargement parallèle

Si une tâche reste bloquée dans un état En cours d’exécution pendant plus de 600 minutes, elle est automatiquement remise dans un état En attente . Vous pouvez modifier la durée pendant laquelle une tâche parallèle est autorisée à être bloquée à l’état En cours d’exécution avec la com.glide.system_parallel_job_inactive_time_minutes propriété.

Si une tâche parallèle ne peut pas se terminer après deux tentatives, la tâche est définie sur Erreur. Vous pouvez modifier le nombre de tentatives avant d’avoir un état d’erreur avec la com.glide.system_parallel_job_max_retry_count propriété. La com.glide.system_parallel_job_auto_retry propriété peut être définie sur false pour désactiver les nouvelles tentatives automatiques.

Vous pouvez vérifier l’état de vos tâches d’importation parallèle actuelles en accédant à Tous > Ensembles de données à importations système > Avancée > Ensembles de données à importer, en sélectionnant votre tâche et en affichant l’onglet Tâches parallèles.

Saisie semi-automatique du script

Lorsque vous tapez le script, la saisie semi-automatique du script affiche les options disponibles, comme illustré dans cet exemple.