Propriétés des jeux d’importation

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 9 minutes de lecture

    • Plusieurs propriétés contrôlent le comportement du jeu d’importation.

    Propriétés des jeux d’importation

    glide.import_set.preserve.leading.spaces
    Spécifie si le processus d’importation conserve les espaces de début dans les cellules de données Excel. Si la valeur est définie sur false, le processus d’importation supprime les espaces de début insécables des cellules de données Excel. Si la valeur est vrai, le processus d’importation conserve les espaces de début insécables.
    Remarque :
    Le processus d’importation supprime toujours les espaces de fin des cellules de données Excel.
    glide.import_set_row.dynamically_add_fields
    Spécifie si un jeu d’importation peut ajouter de nouvelles colonnes à la table intermédiaire (vrai) ou non (faux). Les instances qui contiennent un grand nombre de jeux d’importation peuvent parfois cesser de répondre lorsqu’une importation ajoute une colonne, car l’instance doit modifier chaque ligne de la table intermédiaire. Dans certains cas, l’action de modification de table de base de données provoque une panne. Définir cette propriété sur faux empêche un jeu d’importation d’ajouter des colonnes à la table intermédiaire et génère un message de journal. Pour contourner ce problème, les administrateurs peuvent ajouter manuellement une colonne à la table intermédiaire en créant une nouvelle entrée de dictionnaire, puis en réimportant le jeu d’importation.
    com.glide.loader.verify_target_field_size
    Active le redimensionnement dynamique des champs de jeu d’importation. Avec le paramètre par défaut faux, jusqu’à 20 enregistrements de données sources sont échantillonnés pour déterminer la longueur du champ de jeu d’importation. Si le champ est vide dans tous les enregistrements échantillonnés, la longueur par défaut de 40 est utilisée. Toutes les données chargées qui dépassent la longueur du champ de la table de jeux d’importation sont tronquées. Définissez cette propriété sur vrai pour permettre à n’importe quel champ de jeu d’importation d’augmenter la taille de colonne de 100 pour correspondre à la longueur des données. Par exemple, si les données sources entrantes ont une longueur de 60, le système définit la longueur de la colonne sur 160. Ceci n’est pertinent que pour la source de données.
    glide.ds.file.http.variable_replacement
    Active l’extension des propriétés système pour les sources de données de type fichier récupérées à l’aide de HTTP ou HTTPS.
    glide.scheduled_import.stop_on_error
    Définissez la valeur sur true pour arrêter le processus d’importation lorsque l’importation planifiée parente génère une erreur. Ce comportement peut être utile lorsqu’un jeu d’importation dépend des résultats d’un autre jeu d’importation.
    glide.impex.transformer.empty_value_nil
    Contrôle la façon dont les valeurs de chaîne vides sont traitées pendant la transformation à partir d’une table intermédiaire de jeu d’importation. Définissez cette propriété sur true pour préserver les chaînes vides. Définissez cette propriété sur faux pour convertir les chaînes vides en chaîne NULL.
    Remarque :
    Une chaîne vide est toujours stockée en tant que valeur Null dans la base de données, quelle que soit la valeur de cette propriété.
    Vous pouvez utiliser cette propriété lorsque vous exécutez un script onBefore pendant la transformation. Définir cette propriété sur true vous permet de vérifier les valeurs nulles à l’aide des fonctions hasValue() ou nil( ).
    com.glide.loader.max_lignes_de_balayage
    Contrôle le nombre de lignes de données sources échantillonnées pour générer automatiquement des champs de table intermédiaire lorsque vous importez des données. Cette propriété s’applique aux importations JDBC, XLS, CSV et XML, mais pas aux importations JSON et XSLX.

    Propriétés des jeux d’importations simultanées

    glide.scheduled_import.max.concurrent.import_sets
    Nombre maximal de jeux d’importation pour une importation simultanée.
    com.glide.concurrent_import_set_insert_mutex_spin_wait
    Temps d’attente que mutex passe si le verrou est acquis (en millisecondes).
    com.glide.concurrent_import_set_insert_mutex_expiration
    Délai d’expiration Mutex (en millisecondes).
    com.glide.concurrent_import_set_mutex_fast_lock
    Spécifie s’il faut utiliser le verrou rapide (vrai) ou le verrou lent basé sur SQL (faux).

    Propriétés des jeux d’importation de service Web

    com.glide.ws_import_set.column_resize
    Si la valeur est vrai, active le redimensionnement dynamique des colonnes sur les tables intermédiaires d’importation pour les jeux d’importation de services Web.
    com.glide.ws_import_set.column_resize.max_nombre_de_lignes
    Nombre maximal de lignes qu’une table intermédiaire d’importation peut avoir pour le redimensionnement dynamique des colonnes avec des jeux d’importation de services Web.

    L’importation de tables intermédiaires comportant plus que ce nombre de lignes n’utilisera pas le redimensionnement dynamique avec les jeux d’importation de services Web, même si com.glide.ws_import_set.column_resize la valeur est vrai.

    Cette propriété a une valeur maximale de 500 000.

    Propriétés CSV

    com.glide.csv.loader.ignore_non_parseable_lines
    Permet à une instance d’ignorer une ou plusieurs lignes (lignes) qui contiennent des données incorrectes dans une importation CSV, telles qu’une ligne à laquelle il manque une colonne de données. Par défaut, les importations ne peuvent pas ignorer les données incorrectes dans les fichiers CSV et échouer à la première erreur.
    com.glide.csv.loader.max_errors_allowed
    Spécifie le nombre maximal de lignes (lignes) qu’une importation peut ignorer avant d’échouer. Si l’importation réussit, l’importation répertorie le nombre de lignes qu’elle a ignorées en raison d’erreurs.
    glide.import.csv.charset
    Jeu de caractères du fichier CSV à importer. Les valeurs valides sont UTF-8 et WINDOWS-1252. Vous devrez peut-être utiliser le formatage UTF-8 lors de l’importation de caractères spéciaux.

    Propriétés d’importation Excel

    glide.excel.multiplier
    La quantité maximale de mémoire d’instance à allouer à une importation Excel. Cette propriété s’applique uniquement lors de l’importation de fichiers .XLS.

    La valeur de cette propriété est multipliée par la taille du fichier Excel pour déterminer l’allocation totale de mémoire. La mémoire utilisée ne peut pas dépasser la limite spécifiée par la glide.excel.max_memory_percent propriété.

    Par exemple, avec la valeur par défaut 8 et un fichier Excel de 10 Mo, l’instance utilisera jusqu’à 80 Mo de mémoire pour l’importation.

    glide.xlsx.multiplicateur
    La quantité maximale de mémoire d’instance à allouer à une importation Excel. Cette propriété s’applique lors de l’importation de fichiers . Fichiers XLSX uniquement.

    La valeur de cette propriété est multipliée par la taille du fichier Excel pour déterminer l’allocation totale de mémoire. La mémoire utilisée ne peut pas dépasser la limite spécifiée par la glide.excel.max_memory_percent propriété.

    Par exemple, avec la valeur par défaut 10 et un fichier Excel de 10 Mo, l’instance utilisera jusqu’à 100 Mo de mémoire pour l’importation.

    Remarque :
    Ne modifiez pas la valeur de cette propriété. La valeur par défaut a été sélectionnée pour des performances optimales.
    glide.excel.max_memory_percent (en anglais seulement)
    La quantité maximale de mémoire autorisée pour les importations Excel, sous forme de pourcentage de la mémoire totale de l’instance.
    glide.excel.use_disk_backed_strings_table
    Contrôle si l’instance utilise le stockage sur disque pour conserver des données de fichier volumineuses pendant l’importation XLSX. Définissez cette propriété sur faux pour stocker les données du fichier XLSX uniquement en mémoire. Si vous définissez cette propriété sur false, la mémoire utilisée pendant l’importation XLSX augmente.
    glide.excel.in_memory_strings_table_size_mb
    Quantité maximale de mémoire, en mégaoctets, disponible pour stocker les données de fichier XLSX avant l’écriture sur le stockage sur disque lorsque glide.excel.use_disk_backed_strings_table est vrai. La définition d’une valeur inférieure pour cette propriété utilisera moins de mémoire pendant l’importation XLSX, mais peut entraîner un ralentissement des importations.
    glide.xlsx.import.debug
    Active la journalisation du débogage pour les importations XLSX.
    glide.import.excel.enhanced_number_conversions
    Si vrai, les valeurs numériques supérieures à 10 millions sont conservées dans les tables intermédiaires d’importation. Lorsque la valeur est définie sur false, les valeurs importées supérieures à 10 millions sont converties en notation scientifique qui peut différer de la valeur importée d’origine. Cette propriété doit être définie sur vrai pour importer la plupart des types de données.
    glide.transform.boolean.casesensitive
    Lorsque la valeur est vrai, les valeurs booléennes majuscules de (TRUE/FALSE) se transforment toujours en false. Si la valeur est false, les valeurs booléennes majuscules (TRUE/FALSE) sont transformées correctement.

    Propriétés de connexion JDBC

    glide.jdbcprobeloader.retry
    Nombre de fois qu’un chargeur de sonde JDBC tente de traiter des données renvoyées à partir d’une source de données JDBC. Se met en veille sur la valeur définie entre glide.jdbcprobeloader.retry_millis les nouvelles tentatives.
    glide.jdbcprobeloader.retry_millis
    Durée (en millisecondes) pendant laquelle un chargeur de sonde JDBC attend entre les nouvelles tentatives de traitement de données à partir d’une source de données JDBC.

    Propriétés de journalisation et de débogage

    com.glide.import_set.importlog_level
    Spécifie la quantité d’informations que les jeux d’importation ajoutent au journal. Les valeurs possibles sont INFO, WARNING et ERROR. Vous pouvez définir cette valeur sur INFO dans l’environnement de développement et la remplacer par WARNING ou ERROR en production pour réduire la quantité de trafic de bruit de journalisation vers la base de données.
    Remarque :
    Cette propriété n’a pas d’impact sur la journalisation liée au nettoyage des tables intermédiaires.
    glide.import.debug
    Active la journalisation de débogage pour tous les processus d’importation.
    glide.importlog.log_à_table
    Spécifie s’il faut écrire des messages de journal au niveau des informations dans la table import_log. Si la valeur est vrai, les messages du journal au niveau des informations sont écrits.
    Remarque :
    Les journaux au niveau de l’information pour Centre d’intégration ETL sont écrits dans la table de importlog.log, quel que soit le paramètre de propriété. Pour ajouter des exceptions supplémentaires, contactez Now Support.
    glide.import.sftp.debug
    Active la journalisation de débogage supplémentaire pour les importations SFTP. L’activation de cette propriété permet à l’instance de consigner tous les messages sortants et entrants pendant la session SSH.
    glide.import.scp.debug
    Active la journalisation de débogage supplémentaire pour les importations SCP. L’activation de cette propriété permet à l’instance de consigner tous les messages sortants et entrants pendant la session SSH.