Encoder - グローバル

ワシントンDC API リファレンス

Release

washingtondc

ft:locale

ja-JP

ft:publication_title

ワシントンDC API リファレンス

ft:clusterId

crapiref

bundleId

crapiref

workflow

Creator

Encoder - グローバル

リリースバージョン: Washingtondc

更新日 2024年02月01日

読む18読むのに数分

予測インテリジェンスストアで使用されるスクリプタブルオブジェクトです。このオブジェクトは、Encoder 固有の目標と構成に基づいて、入力データを数値のベクトルに変換します。Encoder は、個別に使用してエンコードを実行することも、テキスト列をエンコードするソリューションの一部として構成することもできます。

Encoder API には予測インテリジェンスプラグイン (com.glide.platform_ml) が必要です。この API は sn_ml 名前空間内で提供されます。

エンコーダーは、事前にトレーニングされたか、指定した言語データセットに基づいてトレーニングされたテキスト処理オブジェクトです。システムがテキストフィールドをどのように解釈して処理するかを決定するエンコーダーをトレーニングできます。テキストを含む ML ソリューションの場合は、テキストを処理する方法を指定するようにエンコーダーをトレーニングし、トレーニング済みのエンコーダーをソリューションで使用できます。

Encoder には構成とバージョンがあり、独自の再トレーニング頻度で個別にトレーニングできます。API で定義された Encoder は、UI で定義された Encoder とは異なります。UI で定義された Encoder の再トレーニングは、それらを使用するソリューションによって制御されるためです。

Encoder のセットアップからトレーニングまでのフローは次のとおりです。

DatasetDefinition API を使用する 1 つ以上のデータセットを作成します。
コンストラクターを使用して、Encoder オブジェクトを作成します。
EncoderStore - add() メソッドを使用して、Encoder オブジェクトを Encoder ストアに追加します。
submitTrainingJob() メソッドを使用して、Encoder をトレーニングします。これにより、EncoderVersion API を使用して管理できるオブジェクトのバージョンが作成されます。

Encoder をトレーニングすると、ソリューションオブジェクトで使用できます。

ClassificationSolution
ClusteringSolution (レーベンシュタイン距離アルゴリズムを使用しない場合は必須)
RegressionSolution
SimilaritySolution (必須)

注:

この API は全権限で実行します。ユーザーのアクセスを制限するには、スクリプトにアクセス制御メカニズムを含めます。

使用上のガイドラインについては、「 ML API の使用」を参照してください。

Encoder - Encoder(オブジェクト config)

Encoder を作成します。

1 つ以上のデータセットの Encoder を取得するには、このコンストラクターを使用して、一意の名前を持つ新しい Encoder オブジェクトを作成します。

表 : 1. パラメーター
名前	タイプ	説明
config	オブジェクト	の構成プロパティを含む JavaScript オブジェクトエンコーダー。 `{ "algorithmConfig": {Object}, "datasets": [Array], "domainName": "String", "label": "String", "minRowCount": "String", "processingLanguage": "String", "stopwords": [Array], "trainingFrequency": "String" }`
config.algorithmConfig	オブジェクト	オプション。アルゴリズム設定プロパティを含む JavaScript オブジェクト。 `'algorithmConfig' : { "algorithm": "String" }`
config.algorithmConfig.algorithm	文字列	このエンコーダーをトレーニングするためのアルゴリズムの名前。可能な値： paravec：パラグラフベクトルワード埋め込み。 tf-idf：用語頻度 - 逆ドキュメント頻度 (TF-IDF) ベースのテキスト。
config.datasets	アレイ	DatasetDefinition オブジェクト名のリストです。
config.domainName	文字列	オプション。このデータセットに関連付けられたドメイン名。「ドメイン分離」および予測インテリジェンス「」を参照してください。デフォルト：現在のドメイン。例：`"global"`。
config.label	文字列	予測タスクを識別します。
config.minRowCount	文字列	オプション。トレーニング用のデータセットに必要なレコードの最小数。デフォルト：10000
config.processingLanguage	文字列	オプション。2 文字の ISO 639-1 言語コード形式の処理言語。デフォルト値：「en」
config.stopwords	アレイ	オプション。language プロパティ設定に基づいて自動的に生成される文字列のプリセットリスト。詳細については、「カスタムストップワードリストの作成」を参照してください。デフォルト：英語のストップワード
config.trainingFrequency	文字列	モデルを再トレーニングする頻度。可能な値： every_30_days every_60_days every_90_days every_120_days every_180_days run_once デフォルト：run_once

次の例は、Encoder ジョブを作成して Encoder ストアに追加する方法を示しています。

var myPrbData = new sn_ml.DatasetDefinition({
    'tableName' : 'problem',
    'fieldNames' : ['short_description'],
    'encodedQuery' : 'activeANYTHING'
});

var myIncidentData = new sn_ml.DatasetDefinition({
    'tableName' : 'incident',
    'fieldNames' : ['short_description', 'description'],
    'encodedQuery' : 'activeANYTHING'
});

var myEncoder = new sn_ml.Encoder({
    'label': "encoder",
    'datasets' : [myPrbData, myIncidentData],
    'algorithmConfig' : {
        'algorithm' : 'tf-idf'
    }
});
var myEncoderName = sn_ml.EncoderStore.add(myEncoder);

Encoder - cancelTrainingJob()

トレーニングのために送信されたエンコーダーオブジェクトのジョブをキャンセルします。

表 : 2. パラメーター
名前	タイプ	説明
なし

表 : 3. 返される内容
タイプ	説明
なし

次の例は、既存のトレーニングジョブをキャンセルする方法を示しています。

var myEncoder = sn_ml.EncoderStore.get('ml_sn_global_global_encoder');

myEncoder.cancelTrainingJob();

Encoder - getActiveVersion()

アクティブな EncoderVersion オブジェクト。

表 : 4. パラメーター
名前	タイプ	説明
なし

表 : 5. 返される内容
タイプ	説明
オブジェクト	アクティブな EncoderVersion オブジェクトです。

次の例は、 Encoder ストアからアクティブなバージョンを取得し、そのトレーニングステータスを返す

var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getActiveVersion().getStatus()), null, 2));

出力:

{
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

Encoder - getAllVersions()

Encoder のすべてのバージョンを取得します。

表 : 6. パラメーター
名前	タイプ	説明
なし

表 : 7. 返される内容
タイプ	説明
アレイ	Encoder オブジェクトの既存のバージョンです。「EncoderVersion API」も参照してください。

次の例は、すべての Encoder バージョンオブジェクトを取得し、それらに対して getVersionNumber() と getStatus() の Encoder バージョンメソッドを呼び出す方法を示しています。

var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

var mlEncoderVersions = mlEncoder.getAllVersions();

for (i = 0; i < mlEncoderVersions.length; i++) {
gs.print("Version " + mlEncoderVersions[i].getVersionNumber() + " Status: " + mlEncoderVersions[i].getStatus() +"\n");
};

出力:

Version 3 Status: {"state":"encoder_complete","percentComplete":"100","hasJobEnded":"true"}

Version 2 Status: {"state":"encoder_complete","percentComplete":"100","hasJobEnded":"true"}

Version 1 Status: {"state":"encoder_cancelled","percentComplete":"0","hasJobEnded":"true"}

Encoder - getLatestVersion()

Encoder の最新バージョンを取得します。

表 : 8. パラメーター
名前	タイプ	説明
なし

表 : 9. 返される内容
タイプ	説明
オブジェクト	EncoderVersion の最新バージョンに対応するオブジェクトと Encoder()。

次の例は、エンコーダーとそのトレーニングステータスを返します。

var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getLatestVersion().getStatus()), null, 2));

出力:

{
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

Encoder - getName()

ストアの操作に使用するオブジェクトの名前を取得します。

表 : 10. パラメーター
名前	タイプ	説明
なし

表 : 11. 返される内容
タイプ	説明
文字列	Encoder オブジェクトの名前です。

次の例は、 Encoder データセット情報を更新し、オブジェクトの名前を出力

// Update encoder
var myIncidentData = new sn_ml.DatasetDefinition({
   'tableName' : 'incident',
   'fieldNames' : ['category', 'short_description', 'priority'],
   'encodedQuery' : 'activeANYTHING'
});

var eligibleFields = JSON.parse(myIncidentData.getEligibleFields(encoder));

var myEncoder = new sn_ml.Encoder({
   'label': "my encoder",
   'datasets' : [myIncidentData],
   'inputFieldNames': eligibleFields['eligibleInputFieldNames'],
   'predictedFieldName': 'category'
});

// update encoder
sn_ml.EncoderStore.update('ml_x_snc_global_global_my_definition_4', myEncoder);

// print encoder name
gs.print('Encoder Name: '+myEncoder.getName());

出力:

Encoder Name: ml_x_snc_global_global_my_definition_4

Encoder - getProperties()

ソリューションオブジェクトプロパティを取得します。

表 : 12. パラメーター
名前	タイプ	説明
なし

表 : 13. 返される内容
タイプ	説明
オブジェクト	データセットのコンテンツと EncoderStore 内の Encode() オブジェクトの詳細です。 `{ "algorithmConfig" : {Object}, "datasetsProperties": [Array], "domainName": "String", "label": "String", "name": "String", "processingLanguage": "String", "scope": "String", "stopwords": [Array], "trainingFrequency": "String" }`
<Object>.algorithmConfig.algorithm	このエンコーダーをトレーニングするためのアルゴリズムの名前。可能な値： paravec：パラグラフベクトルワード埋め込み。 tf-idf：用語頻度 - 逆ドキュメント頻度 (TF-IDF) ベースのテキスト。データタイプ：文字列。
<Object>.algorithmConfig	オプション。アルゴリズム設定プロパティを含む JavaScript オブジェクト。 `'algorithmConfig' : { "algorithm": "String" }` データタイプ：オブジェクト。
<Object>.datasetsProperties	Encoder に関連付けられた DatasetDefinition() プロパティのリストです。 `{ "encodedQuery": "String", "fieldDetails": [Array], "fieldNames": [Array], "tableName": "String" }` データタイプ：アレイ。
<Object>.datasetsProperties.tableName	データセットのテーブルの名前。例：`"tableName" : "Incident"` データタイプ：文字列。
<Object>.datasetsProperties.fieldNames	指定されたテーブルからの文字列としてのフィールド名のリスト。例：`"fieldNames" : ["short_description", "priority"]` データタイプ：アレイ。
<Object>.datasetsProperties.fieldNames.fieldDetails	フィールドプロパティを指定する JavaScript オブジェクトのリスト。 `[ { "name": "String", "type": "String" } ]` データタイプ：アレイ。
<Object>.datasetsProperties.fieldNames.fieldDetails.<object>.name	このデータセットを制限する情報のタイプを定義するフィールドの名前。データタイプ：文字列。
<Object>.datasetsProperties.fieldDetails.<object>.type	機械学習フィールドタイプ。データタイプ：文字列。
<Object>.datasetsProperties.fieldDetails.encodedQuery	標準の Glide 形式のエンコードされたクエリ文字列。「エンコードされたクエリ文字列」を参照してください。データタイプ：文字列。
<Object>.domainName	このデータセットに関連付けられたドメイン名。「ドメイン分離」および予測インテリジェンス「」を参照してください。データタイプ：文字列。
<Object>.label	予測タスクを識別します。 `{ "label": "my first prediction" }` データタイプ：文字列。
<Object>.name	システムによって割り当てられた名前。データタイプ：文字列。
<Object>.predictedFieldName	予測可能性についてトレーニングするフィールドを識別します。データタイプ：文字列。
<Object>.processingLanguage	2 文字の ISO 639-1 言語コード形式の処理言語。データタイプ：文字列。
<Object>.scope	オブジェクトスコープ。現在、有効な値は `global` のみです。データタイプ：文字列
<Object>.stopwords	オプション。language プロパティ設定に基づいて自動的に生成される文字列のプリセットリスト。詳細については、「カスタムストップワードリストの作成」を参照してください。データタイプ：アレイ。
<Object>.trainingFrequency	モデルを再トレーニングする頻度。可能な値： every_30_days every_60_days every_90_days every_120_days every_180_days run_once デフォルト：run_once データタイプ：文字列。

次の例では、ストア内のエンコーダーオブジェクトのプロパティを取得します。

var myEncoder = sn_ml.EncoderStore.get('ml_sn_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(myEncoder.getProperties()), null, 2));

出力:

*** Script: {
  "datasetsProperties": [
    {
      "tableName": "incident",
      "fieldNames": [
        "assignment_group",
        "short_description",
        "description"
      ],
      "encodedQuery": "activeANYTHING"
    }
  ],
  "domainName": "global",
  "label": "my encoder definition",
  "name": "ml_x_snc_global_global_my_encoder_definition",
  "processingLanguage": "en",
  "scope": "global",
  "stopwords": [
    "Default English Stopwords"
  ],
  "trainingFrequency": "run_once"
}

Encoder - getVersion(文字列 version)

指定されたバージョン番号を使用します。Encoder を取得します。

表 : 14. パラメーター
名前	タイプ	説明
version	文字列	Encoder ソリューションの既存のバージョン番号。

表 : 15. 返される内容
タイプ	説明
オブジェクト	EncoderVersion API メソッドを呼び出すことができる Encoder() オブジェクトの指定されたバージョンです。

次の例は、バージョン番号別にソリューションのトレーニングステータスエンコーダーをバージョン番号で

var mlEncoder = sn_ml.EncoderStore.get('ml_x_snc_global_global_encoder');

gs.print(JSON.stringify(JSON.parse(mlEncoder.getVersion('1').getStatus()), null, 2));

出力:

{
  "state": "encoder_complete",
  "percentComplete": "100",
  "hasJobEnded": "true"
}

Encoder - setActiveVersion(文字列 version)

ストア内の指定されたバージョンの Encoder をアクティブ化します。

表 : 16. パラメーター
名前	タイプ	説明
version	文字列	アクティブ化する Encoder() オブジェクトバージョンの名前です。このバージョンをアクティブ化すると、他のバージョンが非アクティブになります。

表 : 17. 返される内容
タイプ	説明
なし

次の例は、ストア内のエンコーダーバージョンを有効にする方法を示しています。

sn_ml.Encoder.setActiveVersion("ml_incident_categorization");

Encoder - submitTrainingJob()

トレーニングジョブを送信します。

注:

このメソッドを実行する前に、まず EncoderStore - add() メソッドを使用して、ストアに Encoder を追加する必要があります。

表 : 18. パラメーター
名前	タイプ	説明
なし

表 : 19. 返される内容
タイプ	説明
オブジェクト	エンコーダバージョンに対応するオブジェクトエンコーダートレーニング対象

次の例は、データセットを作成してソリューションに適用しエンコーダー、それを次に追加をストアに追加して、トレーニングジョブを送信する方法を示しています。

// Create a dataset 
var myData = new sn_ml.DatasetDefinition({

  'tableName' : 'incident',
  'fieldNames' : ['assignment_group', 'short_description', 'description'],
  'encodedQuery' : 'activeANYTHING'

});

// Create an encoder 
var myEncoder = new sn_ml.Encoder({

  'label': "my encoder definition",
  'datasets' : [myData],
  'predictedFieldName' : 'assignment_group',
  'inputFieldNames':['short_description']

});

// Add the encoder to the store to later be able to retrieve it.
var my_unique_name = sn_ml.EncoderStore.add(myEncoder);

// Train the encoder - this is a long running job 
var myEncoderVersion = myEncoder.submitTrainingJob();