Transformateurs de jeux d'importation robustes

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 2 minutes de lecture
  • Utilisez des transformateurs de jeux d’importation robustes au lieu de cartes de transformation si vous souhaitez extraire, transformer et charger des données dans une ou plusieurs tables cibles.

    Transformateurs de jeux d’importation robustes par rapport aux cartes de transformation

    Les cartes de transformation définissent le mappage à partir des données importées stockées dans une table intermédiaire vers une table cible unique dans le Now Platform. Les cartes de transformation insèrent également des données dans les tables cibles, exécutant à la fois des fonctions de transformation et de traitement. Vous pouvez définir plusieurs mappages de tables à l’aide de plusieurs cartes de transformation.

    Le moteur de transformation robuste (RTE) et le transformateur de jeu d’importation robuste séparent les fonctions de transformation et de traitement, offrant ainsi une alternative plus flexible aux cartes de transformation. Le transformateur de jeu d’importation robuste vous permet d’extraire les données d’une table source dans une structure de données intermédiaire. Vous pouvez transformer les données à votre guise, puis charger ces données dans une ou plusieurs tables cibles. Les enregistrements sont traités par lots afin d’améliorer les performances.

    Avec les cartes de transformation, si vous souhaitez que les données de la table source soient transférées vers trois tables cibles différentes, vous devez créer trois cartes de transformation distinctes. Chaque carte de transformation analyse les données séparément, ce qui entraîne trois opérations de lecture distinctes. En revanche, le transformateur de jeu d’importation robuste ne nécessite qu’une seule opération de lecture pour préparer les données de trois tables cibles. Le transformateur de jeu d’importation robuste est plus efficace, en particulier lorsqu’il s’agit de plusieurs tables cibles.

    Extraire la charge de transformation (ETL)

    Lorsque vous utilisez le transformateur de jeu d’importation robuste, la fonctionnalité ETL (Extract Transform Load) transfère les données importées vers les tables cibles. Vous définissez la façon dont les données sont extraites, transformées et chargées dans une ou plusieurs tables cibles. Vous pouvez utiliser les définitions ETL pour effectuer les opérations suivantes :

    • Définir des entités (une abstraction similaire aux tables).
    • Définissez des champs d’entité (une abstraction similaire aux champs de table).
    • Définissez le mappage entre les entités et, éventuellement, indiquez si un mappage spécifique doit être ignoré lors de l’intégration des données.
    • Définissez les mappages de champs d’entités.
    • Définissez les opérations de l’entité.

    Pour obtenir une vue d’ensemble des définitions ETL, reportez-vous à la section Vue d’ensemble de la définition de la charge de transformation d’extraction (ETL). Pour obtenir un guide détaillé sur la création de définitions ETL, reportez-vous à la section Créer des définitions de charge de transformation d’extraction (ETL).

    À compter de cette Paris version, les définitions ETL prennent également en charge les structures de données imbriquées telles que les suivantes lorsque la source de données contient des charges utiles JSON/XML dans une seule colonne.
    {
       "records":[
          {
             "network":{
                "location":"San Diego",
                "computers":[
                   {
                      "id":"C100",
                      "os":"Mac",
                      "disks":[
                         {
                            "size":"200GB",
                            "type":"SSD"
                         },
                         {
                            "size":"1TB",
                            "type":"Magnetic"
                         },
                         {
                            "size":"1TB",
                            "type":"Magnetic"
                         }
                      ]
                   },
                   {
                      "id":"C200",
                      "os":"Windows",
                      "disks":[
                         {
                            "size":"5TB",
                            "type":"Magnetic"
                         }
                      ]
                   }
                ]
             }
          }
       ]
    }