トレーニング済み分類ソリューションのターゲットメトリクスの設定
トレーニング済み機械学習ソリューションの精度、範囲、再現率の統計情報の値を設定します。
クラスまたはソリューションレベルでの分類メトリクス値の設定
予測インテリジェンス には、精度、カバー範囲、再現率の 3 つの分類メトリクスタイプがあります。これらのメトリクスは、トレーニング済み分類ソリューションフォームの [ソリューション統計情報] タブで構成します。クラスレベルでこれらのメトリクスに手動で値を設定することもできますが、カバーするクラスが多数ある場合は、この操作が困難な場合があります。多くの場合、ソリューションがトレーニングされるまで、設定する最適な値がわからないことがあります。このトピックでは、ソリューションレベルでのメトリクス値の設定のみに焦点を当てます。
ソリューションメトリクスの構成
1 つのメトリクスに値を適用すると、他の 2 つのメトリクスの値が変更されます。この動作により、メトリクスをリアルタイムで繰り返し変更し、どの値の組み合わせが特定の結果を表示するかを確認できます。メトリクスに新しい値を適用すると、新しいターゲットを考慮してメトリクスが再計算されます。
メトリクスに値を適用すると、最も高いパーセンテージ値に基づいて設定したメトリクスを優先し、その他のメトリクスを犠牲にして、予測をトレーニングするようにシステムに求められます。システムはこれらの値を満たそうとしますが、トレーニング中のデータの分散方法によっては、要求どおりに設定されない場合があります。
ソリューションレベルでメトリクス値を適用すると、クラスレベルで適切な値が自動的に設定されます。
- トレーニング済み ML ソリューションの [ソリューション統計情報] タブに移動します。
- 各メトリクスを定義する画面の緑色のバナーのメッセージを確認して、ソリューションに割り当てる値をよりよく理解できるようにします。最初の 2 つのメッセージバナーは、推定ソリューションレベルのメトリクスに対応しています。3 番目のバナーは、適用したソリューション値に基づいてクラスレベルの結果に対応します。
- [ ターゲットメトリクス ] 選択リストで、構成するメトリクスを選択します。
- [ターゲットメトリクス値] フィールドに、0 〜 100 のパーセンタイル値を入力します。
- [ 値の適用] をクリックします。
- 結果： [ソリューション統計情報] タブで、[ 推定ソリューションの精度]、[ 推定ソリューションの再現率]、および [推定ソリューション カバレッジ] の値の変更を確認できます。これらの値は、選択した ターゲットメトリクス とソリューションに入力した ターゲットメトリクス値 に基づいて計算されます。
最近トレーニングされた分類ソリューションのサンプルランディングページを次に示します。ご覧のように、精度メトリクスは44.18、再現率は41.26、カバレッジは77.23です。
ユースケースに合わせてこれらのデフォルト値を調整する必要がある場合は、以下の設定例を参照してください。たとえば、実装している分類ソリューションに基づいて、精度、再現率、または範囲のターゲットメトリクス値を変更できます。1 つのメトリクスのターゲットメトリクス値 (精度など) を変更すると、取り消しおよび範囲のメトリクスの値にも影響することに注意してください。
精度の構成例
このシナリオ例では、インシデントレコードをルーティングするための手動トリアージプロセスを、レコードを正しいアサイン先グループに自動的にアサインする ML 分類ソリューションに置き換えます。このシナリオでは、ターゲット値を念頭に置いており、システムは少なくとも 80% の確率で正しく予測する必要があります。そのため、精度メトリック値を 80 に設定し、[ 値の適用] をクリックします。
ソリューションに適用されたメトリクス値は次のとおりです。このシナリオでは、精度値 80.04 が要求の 80% をわずかに上回っているため、この値で満足している可能性があります。
範囲の構成例
インシデントレコードをルーティングするための手動トリアージプロセスを置き換える別のシナリオの例では、最小目標は、年の第 1 四半期に受信インシデントの少なくとも 70% を予測することです。そのため、対象範囲メトリック値を 70 に設定し、[ 値の適用] をクリックします。
システムがソリューションに適用したメトリクス値を次の画像に示します。カバレッジメトリクスの値が 35.99 から 55.98 に増加しました。ただし、精度メトリックは 80.18 から 64.97 に低下しました。これは、カバレッジメトリクスを比較的高い値である 70 に設定したためか、トレーニング中のデータの分散方法が原因である可能性があります。
リコール構成の例
別のシナリオでは、受信メールがフィッシングかどうかの分類が、セキュリティ関連の機械学習ソリューションにおける重要なユースケースになる可能性があります。このような状況では、すべてのフィッシングを識別することが非常に重要であり、非フィッシングをフィッシングとして報告しても問題ない場合もあります。ただし、実際のフィッシングは非フィッシングとして分類されるべきではありません。このような状況では、リコールメトリクスの値を高くする必要があります。これにより、精度と範囲の割合が低くなる可能性があります。ここでは、リコールメトリクスを 95 に設定し、[ 値を適用] をクリックします。
ソリューションに適用されたメトリクス値は次のとおりです。リコールメトリクス値は 54.87 から 61.03 に増加しました。ただし、精度メトリックは 60.1 から 55.44 に低下しました。これは、リコールメトリクスを高い値である 95 に設定したことが原因である可能性があります。
ソリューションに適用するソリューションメトリクス値のクラスレベルの結果
次の画像は、37 クラスのソリューションの精度、範囲、および再現率の統計に適用されたクラス レベルの結果の例を示しています。満足のいく結果が得られるまで、メトリクス値を変更し続けることができます。
[推定精度] 列でソート (z から a) すると、解の精度が最も高いクラスを確認できます。