Transformateurs robustes des ensembles de données à importer

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 2 minutes de lecture
  • Utilisez des transformateurs de jeux d’importation robustes au lieu de cartes de transformation si vous souhaitez extraire, transformer et charger des données dans une ou plusieurs tables cibles.

    Transformateurs de jeux d’importation robustes par rapport aux cartes de transformation

    Les cartes de transformation définissent le mappage à partir des données importées stockées dans une table intermédiaire vers une table cible unique dans le Now Platform. Les cartes de transformation insèrent également des données dans les tables cibles, exécutant à la fois des fonctions de transformation et de traitement. Vous pouvez définir plusieurs mappages de tables avec plusieurs cartes de transformation.

    Le moteur de transformation robuste (RTE) et le transformateur de jeu d’importation robuste séparent les fonctions de transformation et de traitement, offrant ainsi une alternative plus flexible aux cartes de transformation. Le transformateur de jeu d’importation robuste vous permet d’extraire des données d’une table source dans une structure de données intermédiaire. Vous pouvez transformer les données comme vous le souhaitez, puis charger ces données dans une ou plusieurs tables cibles. Les enregistrements sont traités par lots pour améliorer les performances.

    Avec les cartes de transformation, si vous souhaitez que les données de la table source soient transmises à trois tables cibles différentes, vous devez créer trois cartes de transformation distinctes. Chaque carte de transformation analyse les données séparément, ce qui entraîne trois opérations de lecture distinctes. En revanche, le transformateur de jeu d’importation robuste ne nécessite qu’une seule opération de lecture pour préparer les données de trois tables cibles. Le transformateur de jeu d’importation robuste est plus efficace, en particulier lorsqu’il s’agit de plusieurs tables cibles.

    Extraire la charge de transformation (ETL)

    Lorsque vous utilisez le transformateur de jeu d’importation robuste, la fonctionnalité ETL (Extract Transform Load) transfère les données importées vers les tables cibles. Vous définissez la manière dont les données sont extraites, transformées et chargées dans une ou plusieurs tables cibles. Vous pouvez utiliser les définitions ETL pour effectuer les opérations suivantes :

    • Définir des entités (une abstraction similaire aux tables).
    • Définissez les champs d’entité (une abstraction similaire aux champs de table).
    • Définissez le mappage entre les entités et, éventuellement, indiquez si un mappage spécifique doit être ignoré pendant l’intégration des données.
    • Définissez les mappages de champs d’entités.
    • Définissez les opérations de l’entité.

    Pour obtenir une vue d’ensemble des définitions ETL, reportez-vous à la section Vue d’ensemble de la définition d’extraction de charge de transformation (ETL). Pour obtenir un guide étape par étape sur la création de définitions ETL, reportez-vous à la section Créer des définitions ETL (Extract Transform Load).

    À partir de la Paris version, les définitions ETL prennent également en charge les structures de données imbriquées telles que les suivantes lorsque la source de données a des charges utiles JSON/XML dans une seule colonne.
    {
       "records":[
          {
             "network":{
                "location":"San Diego",
                "computers":[
                   {
                      "id":"C100",
                      "os":"Mac",
                      "disks":[
                         {
                            "size":"200GB",
                            "type":"SSD"
                         },
                         {
                            "size":"1TB",
                            "type":"Magnetic"
                         },
                         {
                            "size":"1TB",
                            "type":"Magnetic"
                         }
                      ]
                   },
                   {
                      "id":"C200",
                      "os":"Windows",
                      "disks":[
                         {
                            "size":"5TB",
                            "type":"Magnetic"
                         }
                      ]
                   }
                ]
             }
          }
       ]
    }