Propriétés des jeux d’importation

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 9 minutes de lecture

    • Plusieurs propriétés contrôlent le comportement des jeux d’importation.

    Propriétés des jeux d’importation

    glide.import_set.preserve.leading.spaces
    Spécifie si le processus d’importation conserve les espaces de début dans les cellules de données Excel. Lorsque la valeur est définie sur false, le processus d’importation supprime les espaces de début insécables des cellules de données Excel. Si la valeur est Vrai, le processus d’importation conserve les espaces de début insécables.
    Remarque :
    Le processus d’importation supprime toujours les espaces de fin des cellules de données Excel.
    glide.import_set_row.dynamically_add_fields
    Spécifie si un jeu d’importation peut ajouter de nouvelles colonnes à la table intermédiaire (vrai) ou non (faux). Les instances qui contiennent un grand nombre de jeux d’importation peuvent parfois cesser de répondre lorsqu’une importation ajoute une colonne, car l’instance doit modifier chaque ligne de la table intermédiaire. Dans certains cas, l’action de modification de table de base de données entraîne une panne. Définir cette propriété sur faux empêche un jeu d’importation d’ajouter des colonnes à la table intermédiaire et génère un message de journal. Pour contourner ce problème, les administrateurs peuvent ajouter manuellement une colonne à la table intermédiaire en créant une nouvelle entrée de dictionnaire, puis en réimportant le jeu d’importation.
    com.glide.loader.verify_target_field_size
    Active le redimensionnement dynamique des champs de jeu d’importation. Avec le paramètre par défaut faux , jusqu’à 20 enregistrements des données source sont échantillonnés pour déterminer la longueur du champ de jeu d’importation. Si le champ est vide dans tous les enregistrements échantillonnés, la longueur par défaut de 40 est utilisée. Toutes les données chargées qui dépassent la longueur du champ de table de jeu d’importation sont tronquées. Définissez cette propriété sur vrai pour permettre à n’importe quel champ de jeu d’importation d’augmenter la taille de colonne de 100 pour correspondre à la longueur des données. Par exemple, si les données sources entrantes ont une longueur de 60, le système définit la longueur de la colonne sur 160. Cela n’est pertinent que pour la source de données.
    glide.ds.file.http.variable_replacement
    Active l’extension des propriétés système pour les sources de données de type fichier récupérées à l’aide de HTTP ou HTTPS.
    glide.scheduled_import.stop_on_error
    Définissez la valeur sur vrai pour arrêter le processus d’importation lorsque l’importation planifiée parent génère une erreur. Ce comportement peut être utile lorsqu’un jeu d’importation dépend des résultats d’un autre jeu d’importation.
    glide.impex.transformer.empty_value_nil
    Contrôle la façon dont les valeurs de chaîne vides sont traitées pendant la transformation à partir d’une table intermédiaire de jeu d’importation. Définissez cette propriété sur vrai pour conserver les chaînes vides. Définissez cette propriété sur faux pour convertir les chaînes vides en chaîne NULL.
    Remarque :
    Une chaîne vide est toujours stockée en tant que valeur nulle dans la base de données, quelle que soit la valeur de cette propriété.
    Vous pouvez utiliser cette propriété lorsque vous exécutez un script onBefore pendant la transformation. Définir cette propriété sur vrai vous permet de vérifier les valeurs nulles à l’aide des fonctions hasValue() ou nil().
    com.glide.loader.max_lignes_de_balayage
    Contrôle le nombre de lignes de données sources qui sont échantillonnées pour générer automatiquement des champs de table intermédiaire lorsque vous importez des données. Cette propriété s’applique aux importations JDBC, XLS, CSV et XML, mais pas aux importations JSON et XSLX.

    Propriétés des jeux d’importations simultanées

    glide.scheduled_import.max.concurrent.import_sets
    Nombre maximal de jeux d’importation pour une importation simultanée.
    com.glide.concurrent_import_set_insert_mutex_spin_wait
    Temps d’attente que mutex passe si le verrou est acquis (en millisecondes).
    com.glide.concurrent_import_set_insert_mutex_expiration
    Délai d’expiration Mutex (en millisecondes).
    com.glide.concurrent_import_set_mutex_fast_lock
    Spécifie s’il faut utiliser le verrou rapide (vrai) ou le verrou lent basé sur SQL (faux).

    Propriétés des jeux d’importation de services Web

    com.glide.ws_import_set.column_resize
    Si vrai, active le redimensionnement dynamique des colonnes dans les tables intermédiaires d’importation pour les jeux d’importation de services web.
    com.glide.ws_import_set.column_resize.max_row_count
    Nombre maximal de lignes qu’une table intermédiaire d’importation peut avoir pour le redimensionnement dynamique des colonnes avec des jeux d’importation de services Web.

    Les tables intermédiaires d’importation avec un nombre de lignes supérieur à ce nombre n’utiliseront pas le redimensionnement dynamique avec les jeux d’importation de services Web, même si com.glide.ws_import_set.column_resize la valeur est vrai.

    Cette propriété a une valeur maximale de 500 000.

    Propriétés CSV

    com.glide.csv.loader.ignore_non_parseable_lines
    Permet à une instance d’ignorer une ou plusieurs lignes (lignes) qui contiennent des données incorrectes dans une importation CSV, telles qu’une ligne à laquelle il manque une colonne de données. Par défaut, les importations ne peuvent pas ignorer les données incorrectes contenues dans les fichiers CSV et échouer à la première erreur.
    com.glide.csv.loader.max_errors_allowed
    Spécifie le nombre maximal de lignes (lignes) qu’une importation peut ignorer avant d’échouer. Si l’importation réussit, l’importation répertorie le nombre de lignes qu’elle a ignorées en raison d’erreurs.
    Jeu glide.import.csv.charset
    Jeu de caractères du fichier CSV à importer. Les valeurs valides sont UTF-8 et WINDOWS-1252. Vous devrez peut-être utiliser le formatage UTF-8 lors de l’importation de caractères spéciaux.

    Propriétés d’importation Excel

    glide.excel.multiplier
    Quantité maximale de mémoire d’instance à allouer à une importation Excel. Cette propriété s’applique uniquement lors de l’importation de fichiers .XLS.

    La valeur de cette propriété est multipliée par la taille du fichier Excel pour déterminer l’allocation totale de mémoire. La mémoire utilisée ne peut pas dépasser la limite spécifiée par la glide.excel.max_memory_percent propriété.

    Par exemple, avec la valeur par défaut 8 et un fichier Excel de 10 Mo, l’instance utilisera jusqu’à 80 Mo de mémoire pour l’importation.

    glide.xlsx.multiplicateur
    Quantité maximale de mémoire d’instance à allouer à une importation Excel. Cette propriété s’applique lors de l’importation de fichiers . Fichiers XLSX uniquement.

    La valeur de cette propriété est multipliée par la taille du fichier Excel pour déterminer l’allocation totale de mémoire. La mémoire utilisée ne peut pas dépasser la limite spécifiée par la glide.excel.max_memory_percent propriété.

    Par exemple, avec la valeur par défaut 10 et un fichier Excel de 10 Mo, l’instance utilisera jusqu’à 100 Mo de mémoire pour l’importation.

    Remarque :
    Ne modifiez pas la valeur de cette propriété. La valeur par défaut a été sélectionnée pour des performances optimales.
    glide.excel.max_memory_percent
    La quantité maximale de mémoire autorisée pour les importations Excel, en pourcentage de la mémoire d’instance totale.
    glide.excel.use_disk_backed_strings_table
    Contrôle si l’instance utilise le stockage sur disque pour gérer les données de fichier volumineuses pendant l’importation XLSX. Définissez cette propriété sur faux pour stocker les données du fichier XLSX uniquement en mémoire. Définir cette propriété sur faux augmente la mémoire utilisée lors de l’importation XLSX.
    glide.excel.in_memory_strings_table_size_mb
    Quantité maximale de mémoire, en mégaoctets, disponible pour stocker les données de fichier XLSX avant l’écriture sur le stockage sur disque lorsque glide.excel.use_disk_backed_strings_table est vrai. La définition d’une valeur inférieure pour cette propriété utilisera moins de mémoire pendant l’importation XLSX, mais peut entraîner des importations plus lentes.
    glide.xlsx.import.debug
    Active la journalisation de débogage pour les importations XLSX.
    glide.import.excel.enhanced_number_conversions
    Lorsque la valeur est vrai, les valeurs numériques supérieures à 10 millions sont conservées dans les tables intermédiaires d’importation. Lorsque la valeur est définie sur false, les valeurs importées supérieures à 10 millions sont converties en notation scientifique qui peut ne pas correspondre à la valeur importée d’origine. Cette propriété doit être définie sur vrai pour l’importation de la plupart des types de données.
    glide.transform.boolean.casesensitive
    Si vrai, les valeurs booléennes majuscules de (VRAI/FAUX) se transforment toujours en faux. Lorsque la valeur est « faux », les valeurs booléennes en majuscules (TRUE/FALSE) sont transformées correctement.

    Propriétés de connexion JDBC

    glide.jdbcprobeloader.retry
    Nombre de fois qu’un chargeur de sonde JDBC tente de traiter des données renvoyées à partir d’une source de données JDBC. Dort sur la valeur définie entre glide.jdbcprobeloader.retry_millis les nouvelles tentatives.
    glide.jdbcprobeloader.retry_millis
    Millisecondes pendant lesquelles un chargeur de sonde JDBC attend entre les tentatives de traitement des données provenant d’une source de données JDBC ?

    Propriétés de journalisation et de débogage

    com.glide.import_set.importlog_level
    Spécifie la quantité d’informations que les jeux d’importation ajoutent au journal. Les valeurs possibles sont INFO, WARNING et ERROR. Vous pouvez définir cette valeur sur INFO dans l’environnement de développement et la remplacer par WARNING ou ERROR en production pour réduire la quantité de trafic de bruit de journalisation vers la base de données.
    Remarque :
    Cette propriété n’a pas d’impact sur la journalisation liée au nettoyage des tables intermédiaires.
    glide.import.debug
    Active la journalisation du débogage pour tous les processus d’importation.
    glide.importlog.log_à_table
    Spécifie s’il faut écrire des messages du journal au niveau des informations dans la table import_log. Si vrai, les messages du journal au niveau des informations sont écrits.
    Remarque :
    Les journaux de niveau information pour Centre d’intégration ETL sont écrits dans la table importlog.log indépendamment de ce paramètre de propriété. Pour ajouter des exceptions supplémentaires, contactez Now Support.
    glide.import.sftp.debug
    Active une journalisation de débogage supplémentaire pour les importations SFTP. L’activation de cette propriété entraîne la consignation par l’instance de tous les messages sortants et entrants au cours de la session SSH.
    glide.import.scp.debug
    Active une journalisation de débogage supplémentaire pour les importations SCP. L’activation de cette propriété entraîne la consignation par l’instance de tous les messages sortants et entrants au cours de la session SSH.