Codificador - Global

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 8 min. de leitura

    • Objeto programável usado em armazenamentos Inteligência preditiva. Este objeto converte dados de entrada em vetores de números, com base em objetivos e configurações específicas do codificador. Os codificadores podem ser usados de forma independente para executar codificações ou podem ser configurados como parte de soluções para codificar colunas de texto.

    O codificador A API requer o plug-in Inteligência preditiva (com.glide.platform_ml) e é fornecida no namespace sn_ml.

    Codificadores são objetos de processamento de texto pré-treinados ou treinados com base nos conjuntos de dados de idioma fornecidos. Você pode treinar codificadores que determinam como o sistema interpreta e processa os campos de texto. Para soluções de ML que incluem texto, você pode treinar um codificador para especificar como processar texto e usar o codificador treinado em uma solução.

    Os codificadores têm configuração e versões e podem ser treinados de forma independente com sua própria frequência de retreinamento. Os codificadores definidos pela API são diferentes dos codificadores definidos pela IU, porque o retreinamento dos codificadores definidos pela IU é controlado pelas soluções que os usam.

    O fluxo de configuração para treinamento do codificador é o seguinte:
    1. Crie um ou mais conjuntos de dados usando a API DatasetDefinition.
    2. Use o construtor para criar um objeto codificador.
    3. Adicione o objeto encoder ao armazenamento do encoder usando o método EncoderStore - add().
    4. Treine o codificador usando o método submitTrainingJob(). Isso cria uma versão do objeto que você pode gerenciar usando a API EncoderVersion.
    Depois de treinar um codificador, você pode usá-lo em um objeto de solução:
    Nota:
    Esta API é executada com privilégios totais. Para restringir o acesso do usuário, inclua um mecanismo de controle de acesso no script.

    Para obter diretrizes de uso, consulte Uso de APIs de ML.

    Codificador – Codificador (configuração do objeto)

    Cria um codificador.

    Para obter um codificador para um ou mais conjuntos de dados, use este construtor para criar um novo objeto de codificador com um nome exclusivo.

    Tabela 1. Parâmetros
    Nome Tipo Descrição
    config Objeto Objeto JavaScript que contém propriedades de configuração do codificador.
    {
  "algorithmConfig": {Object},
  "datasets": [Array],
  "domainName": "String",
  "label": "String",
  "minRowCount": "String",
  "processingLanguage": "String",
  "stopwords": [Array],
  "trainingFrequency": "String"
}
    config.algoritmoConfig Objeto Opcional. Objeto JavaScript que contém propriedades de configuração do algoritmo. 
    'algorithmConfig' : {
  "algorithm": "String"
}
    config.algorithmConfig.algorithm Cadeia de caracteres Nome do algoritmo para treinar este codificador.
    Valores possíveis:
    • paravec: incorporação de palavra de vetor de parágrafo.
    • tf-idf: Texto baseado em Frequência do termo–Frequência inversa do documento (TF-IDF).
    config.conjuntos de dados Matriz Lista de nomes de objeto DatasetDefinition.
    config.domainName Cadeia de caracteres Opcional. Nome de domínio associado a este conjunto de dados. Consulte Domain Separation e Inteligência preditiva.

    Padrão: domínio atual, por exemplo, "global".
    config.rótulo Cadeia de caracteres Identifica a tarefa de previsão.
    config.minRowCount Cadeia de caracteres Opcional. Número mínimo de registros necessários no conjunto de dados para treinamento.

    Padrão: 10000
    config.processingLanguage Cadeia de caracteres Opcional. Idioma de processamento no formato de código de idioma ISO 639-1 de duas letras.

    Padrão: "en"
    config.palavras irrelevantes Matriz Opcional. Lista predefinida de cadeias de caracteres que o sistema gera automaticamente com base na configuração da propriedade language. Para obter detalhes, consulte Criar uma lista de palavras irrelevantes personalizadas.

    Padrão: palavras irrelevantes em inglês
    config.FrequênciaDetreinamento Cadeia de caracteres A frequência para retreinar o modelo.
    Valores possíveis:
    • a cada_30_dias
    • a cada_60_dias
    • a cada_90_dias
    • a cada_120_dias
    • a cada_180_dias
    • run_once
    Padrão: run_once

    O exemplo a seguir mostra como criar um trabalho de codificador e adicioná-lo ao armazenamento de codificador.

    var myPrbData = new sn_ml.DatasetDefinition({
    'tableName' : 'problem',
    'fieldNames' : ['short_description'],
    'encodedQuery' : 'activeANYTHING'
});

var myIncidentData = new sn_ml.DatasetDefinition({
    'tableName' : 'incident',
    'fieldNames' : ['short_description', 'description'],
    'encodedQuery' : 'activeANYTHING'
});

var myEncoder = new sn_ml.Encoder({
    'label': "encoder",
    'datasets' : [myPrbData, myIncidentData],
    'algorithmConfig' : {
        'algorithm' : 'tf-idf'
    }
});
var myEncoderName = sn_ml.EncoderStore.add(myEncoder);

    Codificador - cancelTrainingJob()

    Cancela um trabalho para um objeto de codificador que foi enviado para treinamento.

    Tabela 2. Parâmetros
    Nome Tipo Descrição
    Nenhum
    Tabela 3. Retorna
    Tipo Descrição
    Nenhum

    O exemplo a seguir mostra como cancelar um trabalho de treinamento existente.

    var myEncoder = sn_ml.EncoderStore.get('ml_sn_global_global_encoder');

myEncoder.cancelTrainingJob();

    Codificador - getActiveVersion()

    Obtém o ativo Objeto EncoderVersion.

    Tabela 4. Parâmetros
    Nome Tipo Descrição
    Nenhum
    Tabela 5. Retorna
    Tipo Descrição
    Objeto Objeto EncoderVersion ativo.

    O exemplo a seguir mostra como obter uma Codificador versão ativa da loja e retornar seu status de treinamento.

    var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getActiveVersion().getStatus()), null, 2));

    Saída:

    {
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

    Codificador - getAllVersions()

    Obtém todas as versões de um codificador.

    Tabela 6. Parâmetros
    Nome Tipo Descrição
    Nenhum
    Tabela 7. Retorna
    Tipo Descrição
    Matriz Versões existentes de um objeto codificador. Consulte também API EncoderVersion.

    O exemplo a seguir mostra como obter todos os objetos de versão do codificador e chamar os métodos de versão do codificador getVersionNumber() e getStatus() neles.

    var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

var mlEncoderVersions = mlEncoder.getAllVersions();

for (i = 0; i < mlEncoderVersions.length; i++) {
gs.print("Version " + mlEncoderVersions[i].getVersionNumber() + " Status: " + mlEncoderVersions[i].getStatus() +"\n");
};

    Saída:

    Version 3 Status: {"state":"encoder_complete","percentComplete":"100","hasJobEnded":"true"}

Version 2 Status: {"state":"encoder_complete","percentComplete":"100","hasJobEnded":"true"}

Version 1 Status: {"state":"encoder_cancelled","percentComplete":"0","hasJobEnded":"true"}

    Codificador - getLatestVersion()

    Obtém a versão mais recente de um codificador.

    Tabela 8. Parâmetros
    Nome Tipo Descrição
    Nenhum
    Tabela 9. Retorna
    Tipo Descrição
    Objeto EncoderVersion objeto correspondente à versão mais recente de e Encoder().

    O exemplo a seguir mostra como obter a versão mais recente de um codificador e retorna seu status de treinamento.

    var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getLatestVersion().getStatus()), null, 2));

    Saída:

    {
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

    Codificador - getName()

    Obtém o nome do objeto a ser usado para interação com a loja.

    Tabela 10. Parâmetros
    Nome Tipo Descrição
    Nenhum
    Tabela 11. Retorna
    Tipo Descrição
    Cadeia de caracteres Nome do objeto codificador.

    O exemplo a seguir mostra como atualizar Codificador as informações do conjunto de dados e imprimir o nome do objeto.

    // Update encoder
var myIncidentData = new sn_ml.DatasetDefinition({
   'tableName' : 'incident',
   'fieldNames' : ['category', 'short_description', 'priority'],
   'encodedQuery' : 'activeANYTHING'
});

var eligibleFields = JSON.parse(myIncidentData.getEligibleFields(encoder));

var myEncoder = new sn_ml.Encoder({
   'label': "my encoder",
   'datasets' : [myIncidentData],
   'inputFieldNames': eligibleFields['eligibleInputFieldNames'],
   'predictedFieldName': 'category'
});

// update encoder
sn_ml.EncoderStore.update('ml_x_snc_global_global_my_definition_4', myEncoder);

// print encoder name
gs.print('Encoder Name: '+myEncoder.getName());

    Saída:

    Encoder Name: ml_x_snc_global_global_my_definition_4

    Codificador - getProperties()

    Obtém propriedades do objeto de solução.

    Tabela 12. Parâmetros
    Nome Tipo Descrição
    Nenhum
    Tabela 13. Retorna
    Tipo Descrição
    Objeto Conteúdo dos detalhes do objeto Dataset e Encoder() na EncoderStore.
    {
  "algorithmConfig" : {Object},
  "datasetsProperties": [Array],
  "domainName": "String",
  "label": "String",
  "name": "String",
  "processingLanguage": "String",
  "scope": "String",
  "stopwords": [Array],
  "trainingFrequency": "String"
}
    <Object>.algoritmoConfig.algoritmo Nome do algoritmo para treinar este codificador.
    Valores possíveis:
    • paravec: incorporação de palavra de vetor de parágrafo.
    • tf-idf: Texto baseado em Frequência do termo–Frequência inversa do documento (TF-IDF).

    Tipo de dados: Cadeia de caracteres.
    <Object>.algorithmConfig Opcional. Objeto JavaScript que contém propriedades de configuração do algoritmo. 
    'algorithmConfig' : {
  "algorithm": "String"
}

    Tipo de dados: objeto.
    <Object>.datasetProperties

    Lista de propriedades DatasetDefinition() associadas ao codificador.

    {
  "encodedQuery": "String",
  "fieldDetails": [Array],
  "fieldNames": [Array],
  "tableName": "String"
}

    Tipo de dados: matriz.
    <Object>.datasetsProperties.tableName Nome da tabela para o conjunto de dados. Por exemplo, "tableName" : "Incidente".

    Tipo de dados: Cadeia de caracteres.
    <Object>.datasetsProperties.fieldNames Lista de nomes de campo da tabela especificada como cadeias de caracteres. Por exemplo, "fieldNames" : ["short_description", "priority"].

    Tipo de dados: matriz.
    <Object>.datasetsProperties.fieldNames.fieldDetails Lista de objetos JavaScript que especificam propriedades de campo. 
    [
  {
    "name": "String",
    "type": "String"
  }
]

    Tipo de dados: matriz.
    <Object>.datasetsProperties.fieldNames.fieldDetails.<object>.name Nome do campo que define o tipo de informação ao qual restringir este conjunto de dados.

    Tipo de dados: Cadeia de caracteres.
    <Object>.datasetsProperties.fieldDetails.<object>.type Tipo de campo de aprendizado de máquina.

    Tipo de dados: Cadeia de caracteres.
    <Object>.datasetsProperties.fieldDetails.encodedQuery Cadeia de caracteres de consulta codificada no formato Glide padrão. Consulte Cadeias de caracteres de consulta codificadas.

    Tipo de dados: Cadeia de caracteres.
    <Object>.domainName Nome de domínio associado a este conjunto de dados. Consulte Domain Separation e Inteligência preditiva.

    Tipo de dados: Cadeia de caracteres.
    <Object>.rótulo Identifica a tarefa de previsão. 
    {
  "label": "my first prediction"
}

    Tipo de dados: Cadeia de caracteres.
    <Object>.nome Nome atribuído pelo sistema.

    Tipo de dados: Cadeia de caracteres.
    <Object>.predictedFieldName Identifica um campo a ser treinado para previsibilidade.

    Tipo de dados: Cadeia de caracteres.
    <Object>.processingLanguage Idioma de processamento no formato de código de idioma ISO 639-1 de duas letras.

    Tipo de dados: Cadeia de caracteres.
    <Object>.escopo Escopo do objeto. Atualmente, o único valor válido é global.

    Tipo de dados: cadeia de caracteres
    <Object>palavras irrelevantes Opcional. Lista predefinida de cadeias de caracteres que o sistema gera automaticamente com base na configuração da propriedade language. Para obter detalhes, consulte Criar uma lista de palavras irrelevantes personalizadas.

    Tipo de dados: matriz.
    <Object>.trainingFrequency A frequência para retreinar o modelo.
    Valores possíveis:
    • a cada_30_dias
    • a cada_60_dias
    • a cada_90_dias
    • a cada_120_dias
    • a cada_180_dias
    • run_once
    Padrão: run_once

    Tipo de dados: Cadeia de caracteres.

    O exemplo a seguir obtém as propriedades de um objeto de codificador no repositório.

    var myEncoder = sn_ml.EncoderStore.get('ml_sn_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(myEncoder.getProperties()), null, 2));
    Saída:
    *** Script: {
  "datasetsProperties": [
    {
      "tableName": "incident",
      "fieldNames": [
        "assignment_group",
        "short_description",
        "description"
      ],
      "encodedQuery": "activeANYTHING"
    }
  ],
  "domainName": "global",
  "label": "my encoder definition",
  "name": "ml_x_snc_global_global_my_encoder_definition",
  "processingLanguage": "en",
  "scope": "global",
  "stopwords": [
    "Default English Stopwords"
  ],
  "trainingFrequency": "run_once"
}

    Codificador - getVersion(cadeia de caracteres "version")

    Obtém um codificador pelo número de versão fornecido.

    Tabela 14. Parâmetros
    Nome Tipo Descrição
    versão Cadeia de caracteres Número da versão existente de um codificador.
    Tabela 15. Retorna
    Tipo Descrição
    Objeto Versão especificada do objeto Encoder() na qual você pode chamar métodos de API EncoderVersion.

    O exemplo a seguir mostra como obter o status de treinamento de um codificador por número de versão.

    var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getVersion('1').getStatus()), null, 2));

    Saída:

    {
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

    Codificador - setActiveVersion(cadeia de caracteres version)

    Ativa uma versão especificada de um codificador na loja.

    Tabela 16. Parâmetros
    Nome Tipo Descrição
    versão Cadeia de caracteres Nome da versão do objeto Encoder() a ser ativada.

    Ativar esta versão desativa qualquer outra versão.
    Tabela 17. Retorna
    Tipo Descrição
    Nenhum

    O exemplo a seguir mostra como ativar um codificador versão de solução na Store.

    sn_ml.Encoder.setActiveVersion("ml_incident_categorization");

    Codificador - submitTrainingJob()

    Envia um trabalho de treinamento.

    Nota:
    Antes de executar este método, você deve primeiro adicionar um codificador à loja usando o método EncoderStore - add().
    Tabela 18. Parâmetros
    Nome Tipo Descrição
    Nenhum
    Tabela 19. Retorna
    Tipo Descrição
    Objeto Codificador está sendo treinado.EncoderVersion objeto correspondente ao que

    O exemplo a seguir mostra como criar um conjunto de dados, aplicá-lo a um codificador, adicione-o a uma loja e enviar o trabalho de treinamento.

    // Create a dataset 
var myData = new sn_ml.DatasetDefinition({

  'tableName' : 'incident',
  'fieldNames' : ['assignment_group', 'short_description', 'description'],
  'encodedQuery' : 'activeANYTHING'

});

// Create an encoder 
var myEncoder = new sn_ml.Encoder({

  'label': "my encoder definition",
  'datasets' : [myData],
  'predictedFieldName' : 'assignment_group',
  'inputFieldNames':['short_description']

});

// Add the encoder to the store to later be able to retrieve it.
var my_unique_name = sn_ml.EncoderStore.add(myEncoder);

// Train the encoder - this is a long running job 
var myEncoderVersion = myEncoder.submitTrainingJob();