Codeur : global

  • Rversion finale: Yokohama
  • Mis à jour 30 janv. 2025
  • 8 minutes de lecture

    • L’API Encoder fournit un objet pouvant contenir des scripts utilisé dans les Intelligence prédictive magasins. Cet objet convertit les données d’entrée en vecteurs de nombres, en fonction des objectifs et des configurations spécifiques à l’encodeur. Les encodeurs peuvent être utilisés indépendamment pour exécuter des codages ou peuvent être configurés dans le cadre de solutions pour coder des colonnes de texte.

    Ce L’API nécessite le module d’extension Intelligence prédictive (com.glide.platform_ml) et est fournie dans l’espace de noms sn_ml .

    Les encodeurs sont des objets de traitement de texte préformés ou entraînés en fonction des jeux de données linguistiques que vous fournissez. Vous pouvez former des encodeurs qui déterminent comment le système interprète et traite les champs de texte. Pour les solutions ML qui incluent du texte, vous pouvez former un encodeur pour spécifier comment traiter le texte et utiliser l’encodeur formé dans une solution.

    Les encodeurs ont une configuration et des versions, et peuvent être entraînés indépendamment avec leur propre fréquence de reformation. Les encodeurs définis par l’API sont différents des encodeurs définis par l’interface utilisateur, car la reformation des encodeurs définis par l’interface utilisateur est contrôlée par les solutions qui les utilisent.

    Le flux de configuration à formation de l’encodeur est le suivant :
    1. Créez un ou plusieurs jeux de données à l’aide de l’API DatasetDefinition .
    2. Utilisez le constructeur pour créer un objet encodeur.
    3. Ajoutez l’objet encodeur au magasin d’encodeurs à l’aide de la méthode EncoderStore - add().
    4. Formez l’encodeur à l’aide de la méthode submitTrainingJob( ). Cela crée une version de l’objet que vous pouvez gérer à l’aide de l’API EncoderVersion .
    Une fois que vous avez formé un encodeur, vous pouvez l’utiliser dans un objet de solution :
    Remarque :
    Cette API s’exécute avec des privilèges complets avant la Washington DC version du correctif 7. Après cette version, accordez l’accès à l’aide des ACL. Pour en savoir plus, consultez Query ACLs.

    Pour connaître des directives d’utilisation, reportez-vous à la section Utilisation des API ML.

    Encodeur : encodeur (configuration objet)

    Crée un encodeur.

    Pour obtenir un encodeur pour un ou plusieurs jeux de données, utilisez ce constructeur pour créer un nouvel objet d’encodeur avec un nom unique.

    Tableau 1. Paramètres
    Nom Type Description
    configuration Objet Objet JavaScript contenant les propriétés de configuration de codeur.
    {
  "algorithmConfig": {Object},
  "datasets": [Array],
  "domainName": "String",
  "label": "String",
  "minRowCount": "String",
  "processingLanguage": "String",
  "stopwords": [Array],
  "trainingFrequency": "String"
}
    config.algorithmConfig Objet Facultatif. Objet JavaScript contenant des propriétés de configuration d’algorithme. 
    'algorithmConfig' : {
  "algorithm": "String"
}
    config.algorithmConfig.algorithm Chaîne Nom de l’algorithme pour la formation de cet encodeur.
    Valeurs possibles :
    • paravec: Intégration de mot de vecteur de paragraphe.
    • tf-idf: texte basé sur la fréquence des termes – fréquence de document inversée (TF-IDF).
    config.datasets Tableau Liste des noms d’objets DatasetDefinition .
    nom.domaine config Chaîne Facultatif. Nom de domaine associé à cet ensemble de données. Voir Séparation de domaine et Intelligence prédictive.

    Par défaut : domaine actuel, par exemple, « global ».
    config.étiquette Chaîne Identifie la tâche de prédiction.
    config.minRowCount Chaîne Facultatif. Nombre minimum d’enregistrements requis dans l’ensemble de données pour la formation.

    Par défaut : 10000
    config.processingLanguage Chaîne Facultatif. Langue de traitement au format de code de langue ISO 639-1 à deux lettres.

    Par défaut : « en »
    config.mots vides Tableau Facultatif. Liste prédéfinie de chaînes que le système génère automatiquement en fonction du paramètre de language propriété. Pour en savoir plus, consultez Créer une liste de mots vides personnalisée.

    Par défaut : anglais Mots vides
    config.trainingFrequency Chaîne Fréquence de reformation du modèle.
    Valeurs possibles :
    • every_30_days
    • every_60_days
    • every_90_days
    • every_120_days
    • every_180_days
    • run_once
    Par défaut : run_once

    L’exemple suivant montre comment créer une tâche d’encodeur et l’ajouter au magasin d’encodeur.

    var myPrbData = new sn_ml.DatasetDefinition({
    'tableName' : 'problem',
    'fieldNames' : ['short_description'],
    'encodedQuery' : 'activeANYTHING'
});

var myIncidentData = new sn_ml.DatasetDefinition({
    'tableName' : 'incident',
    'fieldNames' : ['short_description', 'description'],
    'encodedQuery' : 'activeANYTHING'
});

var myEncoder = new sn_ml.Encoder({
    'label': "encoder",
    'datasets' : [myPrbData, myIncidentData],
    'algorithmConfig' : {
        'algorithm' : 'tf-idf'
    }
});
var myEncoderName = sn_ml.EncoderStore.add(myEncoder);

    Encodeur : cancelTrainingJob()

    Annule une tâche pour un objet d’encodeur qui a été soumis à la formation.

    Tableau 2. Paramètres
    Nom Type Description
    Aucun
    Tableau 3. Renvoie
    Type Description
    Néant

    L’exemple suivant montre comment annuler une tâche de formation existante.

    var myEncoder = sn_ml.EncoderStore.get('ml_sn_global_global_encoder');

myEncoder.cancelTrainingJob();

    Encodeur : getActiveVersion()

    Obtient l’actif Objet EncoderVersion.

    Tableau 4. Paramètres
    Nom Type Description
    Aucun
    Tableau 5. Renvoie
    Type Description
    Objet Objet EncoderVersion actif.

    L’exemple suivant montre comment obtenir une version active Codeur à partir du magasin et renvoyer son état de formation.

    var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getActiveVersion().getStatus()), null, 2));

    Sortie :

    {
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

    Encodeur : getAllVersions()

    Obtient toutes les versions de un encodeur.

    Tableau 6. Paramètres
    Nom Type Description
    Aucun
    Tableau 7. Renvoie
    Type Description
    Tableau Versions existantes d’un objet encodeur. Voir aussi API EncoderVersion .

    L’exemple suivant montre comment obtenir tous les objets de version d’encodeur et y appeler les méthodes de version d’encodeur getVersionNumber() et getStatus().

    var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

var mlEncoderVersions = mlEncoder.getAllVersions();

for (i = 0; i < mlEncoderVersions.length; i++) {
gs.print("Version " + mlEncoderVersions[i].getVersionNumber() + " Status: " + mlEncoderVersions[i].getStatus() +"\n");
};

    Sortie :

    Version 3 Status: {"state":"encoder_complete","percentComplete":"100","hasJobEnded":"true"}

Version 2 Status: {"state":"encoder_complete","percentComplete":"100","hasJobEnded":"true"}

Version 1 Status: {"state":"encoder_cancelled","percentComplete":"0","hasJobEnded":"true"}

    Encodeur : getLatestVersion()

    Obtient la dernière version de un encodeur.

    Tableau 8. Paramètres
    Nom Type Description
    Aucun
    Tableau 9. Renvoie
    Type Description
    Objet EncoderVersion Objet correspondant à la dernière version de un Encoder().

    L’exemple suivant montre comment obtenir la dernière version d’une un encodeur et renvoyer son état de formation.

    var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getLatestVersion().getStatus()), null, 2));

    Sortie :

    {
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

    Encodeur : getName()

    Obtient le nom de l’objet à utiliser pour l’interaction avec le magasin.

    Tableau 10. Paramètres
    Nom Type Description
    Aucun
    Tableau 11. Renvoie
    Type Description
    Chaîne Nom de l’objet encodeur.

    L’exemple suivant montre comment mettre à jour Codeur informations d’un jeu de données et imprimer le nom de l’objet.

    // Update encoder
var myIncidentData = new sn_ml.DatasetDefinition({
   'tableName' : 'incident',
   'fieldNames' : ['category', 'short_description', 'priority'],
   'encodedQuery' : 'activeANYTHING'
});

var eligibleFields = JSON.parse(myIncidentData.getEligibleFields(encoder));

var myEncoder = new sn_ml.Encoder({
   'label': "my encoder",
   'datasets' : [myIncidentData],
   'inputFieldNames': eligibleFields['eligibleInputFieldNames'],
   'predictedFieldName': 'category'
});

// update encoder
sn_ml.EncoderStore.update('ml_x_snc_global_global_my_definition_4', myEncoder);

// print encoder name
gs.print('Encoder Name: '+myEncoder.getName());

    Sortie :

    Encoder Name: ml_x_snc_global_global_my_definition_4

    Encodeur : getProperties()

    Obtient les propriétés de l’objet de solution.

    Tableau 12. Paramètres
    Nom Type Description
    Aucun
    Tableau 13. Renvoie
    Type Description
    Objet Contenu des détails de l’ensemble de données et de l’objet Encoder() dans EncoderStore.
    {
  "algorithmConfig" : {Object},
  "datasetsProperties": [Array],
  "domainName": "String",
  "label": "String",
  "name": "String",
  "processingLanguage": "String",
  "scope": "String",
  "stopwords": [Array],
  "trainingFrequency": "String"
}
    <Object>.algorithmConfig.algorithme Nom de l’algorithme pour la formation de cet encodeur.
    Valeurs possibles :
    • paravec: Intégration de mot de vecteur de paragraphe.
    • tf-idf: texte basé sur la fréquence des termes – fréquence de document inversée (TF-IDF).

    Type de données : chaîne.
    <Object>.config algorithme Facultatif. Objet JavaScript contenant des propriétés de configuration d’algorithme. 
    'algorithmConfig' : {
  "algorithm": "String"
}

    Type de données : objet.
    <Object>.datasetsProperties

    Liste des propriétés DatasetDefinition() associées à l’encodeur.

    {
  "encodedQuery": "String",
  "fieldDetails": [Array],
  "fieldNames": [Array],
  "tableName": "String"
}

    Type de données : tableau.
    <Object>.datasetsProperties.tableName Nom de la table de l’ensemble de données. Par exemple, « tableName » : « Incident ».

    Type de données : chaîne.
    <Object>.datasetsProperties.fieldNames Liste des noms de champs de la table spécifiée sous forme de chaînes. Par exemple, « fieldNames » : ["short_description », « priority"].

    Type de données : tableau.
    <Object>.datasetsProperties.fieldNames.fieldDetails Liste des objets JavaScript qui spécifient les propriétés des champs. 
    [
  {
    "name": "String",
    "type": "String"
  }
]

    Type de données : tableau.
    <Object>.datasetsProperties.fieldNames.fieldDetails.<object>. nom Nom du champ définissant le type d’informations auquel restreindre cet ensemble de données.

    Type de données : chaîne.
    <Object>.datasetsProperties.fieldDetails.<object>. type Type de champ d’apprentissage machine.

    Type de données : chaîne.
    <Object>.datasetsProperties.fieldDetails.encodedQuery Chaîne de requête codée au format Glide standard. Voir Chaînes de requête codées.

    Type de données : chaîne.
    <Object>nom .domainName Nom de domaine associé à cet ensemble de données. Voir Séparation de domaine et Intelligence prédictive.

    Type de données : chaîne.
    <Object>.étiquette Identifie la tâche de prédiction. 
    {
  "label": "my first prediction"
}

    Type de données : chaîne.
    <Object>.nom Nom affecté par le système.

    Type de données : chaîne.
    <Object>.predictedFieldName Identifie un champ à former pour la prévisibilité.

    Type de données : chaîne.
    <Object>.processingLanguage Langue de traitement au format de code de langue ISO 639-1 à deux lettres.

    Type de données : chaîne.
    <Object>.portée Périmètre de l’objet. Actuellement, la seule valeur valide est global.

    Type de données : chaîne
    <Object>.mots vides Facultatif. Liste prédéfinie de chaînes que le système génère automatiquement en fonction du paramètre de language propriété. Pour en savoir plus, consultez Créer une liste de mots vides personnalisée.

    Type de données : tableau.
    <Object>.trainingFrequency Fréquence de reformation du modèle.
    Valeurs possibles :
    • every_30_days
    • every_60_days
    • every_90_days
    • every_120_days
    • every_180_days
    • run_once
    Par défaut : run_once

    Type de données : chaîne.

    L’exemple suivant obtient les propriétés d’un objet de un objet d’encodeur dans le magasin.

    var myEncoder = sn_ml.EncoderStore.get('ml_sn_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(myEncoder.getProperties()), null, 2));
    Sortie :
    *** Script: {
  "datasetsProperties": [
    {
      "tableName": "incident",
      "fieldNames": [
        "assignment_group",
        "short_description",
        "description"
      ],
      "encodedQuery": "activeANYTHING"
    }
  ],
  "domainName": "global",
  "label": "my encoder definition",
  "name": "ml_x_snc_global_global_my_encoder_definition",
  "processingLanguage": "en",
  "scope": "global",
  "stopwords": [
    "Default English Stopwords"
  ],
  "trainingFrequency": "run_once"
}

    Encodeur : getVersion(version de chaîne)

    Obtient un encodeur Par numéro de version fourni.

    Tableau 14. Paramètres
    Nom Type Description
    version Chaîne Numéro de version existante d’une un encodeur.
    Tableau 15. Renvoie
    Type Description
    Objet Version spécifiée de l’objet Encoder() sur lequel vous pouvez appeler les méthodes d’API EncoderVersion .

    L’exemple suivant montre comment obtenir l’état de formation d’une un encodeur par numéro de version.

    var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getVersion('1').getStatus()), null, 2));

    Sortie :

    {
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

    Encodeur : setActiveVersion(version de chaîne)

    Active une version spécifiée d’un encodeur dans le magasin.

    Tableau 16. Paramètres
    Nom Type Description
    version Chaîne Nom de la version de l’objet Encoder() à activer.

    L’activation de cette version désactive toute autre version.
    Tableau 17. Renvoie
    Type Description
    Néant

    L’exemple suivant montre comment activer un encodeur version de solution dans le magasin.

    sn_ml.Encoder.setActiveVersion("ml_incident_categorization");

    Encodeur : submitTrainingJob()

    Soumettez une tâche de formation.

    Remarque :
    Avant d’exécuter cette méthode, vous devez d’abord ajouter un encodeur au magasin à l’aide de la méthode EncoderStore - add().
    Tableau 18. Paramètres
    Nom Type Description
    Aucun
    Tableau 19. Renvoie
    Type Description
    Objet Encodeur EncoderVersion Objet correspondant au cours de formation.

    L’exemple suivant montre comment créer un jeu de données, l’appliquer à un encodeur, ajoutez-le à un magasin et soumettre la tâche de formation.

    // Create a dataset 
var myData = new sn_ml.DatasetDefinition({

  'tableName' : 'incident',
  'fieldNames' : ['assignment_group', 'short_description', 'description'],
  'encodedQuery' : 'activeANYTHING'

});

// Create an encoder 
var myEncoder = new sn_ml.Encoder({

  'label': "my encoder definition",
  'datasets' : [myData],
  'predictedFieldName' : 'assignment_group',
  'inputFieldNames':['short_description']

});

// Add the encoder to the store to later be able to retrieve it.
var my_unique_name = sn_ml.EncoderStore.add(myEncoder);

// Train the encoder - this is a long running job 
var myEncoderVersion = myEncoder.submitTrainingJob();