トレーニング済みの分類ソリューションのターゲット測定基準の構成
学習済みの機械学習ソリューションの精度、カバレッジ、およびリコール統計の値を設定します。
クラスまたはソリューションレベルでの分類測定基準値の設定
予測インテリジェンス には、精度、範囲、再現率の 3 つの分類測定基準タイプがあります。これらの測定基準は、トレーニング済みの分類ソリューションフォームの [ソリューション統計情報] タブで構成します。クラスレベルでこれらの測定基準に値を手動で設定することはできますが、カバーするクラスの数が多い場合は難しい場合があります。多くの場合、ソリューションがトレーニングされるまで、設定する最適な値がわからないことがあります。このトピックでは、ソリューション レベルでのみメトリック値を設定することに焦点を当てます。
ソリューション測定基準の構成
1 つの測定基準に値を適用すると、他の 2 つの測定基準の値が変更されます。この動作により、測定基準をリアルタイムで繰り返し変更して、どの値の組み合わせが特定の結果を表すかを確認できます。測定基準に新しい値を適用すると、新しいターゲットを考慮して値が再計算されます。
測定基準に値を適用すると、最も高いパーセンテージ値に基づいて設定した測定基準を優先するように予測をトレーニングするようシステムに要求され、他の測定基準は犠牲になります。システムはこれらの値を満たそうとしますが、トレーニングしているデータの分布方法が原因で、要求どおりに設定されない場合があります。
ソリューションレベルで測定基準値を適用すると、クラスレベルで適切な値が自動的に設定されます。
- トレーニング済み ML ソリューションの [ソリューション統計情報] タブに移動します。
- 各測定基準を定義する画面の緑色のバナーに表示されるメッセージを確認して、ソリューションにアサインする値をよりよく理解できるようにします。最初の 2 つのメッセージ バナーは、推定されるソリューション レベルのメトリックに対応しています。3 番目のバナーは、適用したソリューション値に基づいてクラスレベルの結果を示します。
- [ ターゲット測定基準 ] 選択リストで、構成する測定基準を選択します。
- 「 ターゲット・メトリック値 」フィールドに、0〜100の数値パーセンタイル値を入力します。
- 「 値の適用」をクリックします。
- 結果： [ソリューション統計情報] タブで、[ 推定ソリューション精度]、[推定 ソリューションリコール]、および [推定ソリューションカバー範囲] の値の変化を確認できます。選択した ターゲット測定基準 とソリューションに入力した ターゲット測定基準値 に基づいて、これらの値が計算されます。
最近トレーニングされた分類ソリューションのサンプル ランディング ページを次に示します。ご覧のとおり、精度メトリックは 44.18、再現率は 41.26、カバレッジは 77.23 です。
ユースケースに合わせてこれらのデフォルト値を調整する必要がある場合は、以下のサンプル構成を参照してください。たとえば、実装している分類ソリューションに基づいて、精度、再現率、または範囲のターゲット測定基準値を変更できます。適合率などの 1 つの測定基準のターゲット測定基準値を変更すると、再現率と範囲の測定基準の値にも影響することに注意してください。
精度の設定例
この例のシナリオでは、インシデントレコードをルーティングするための手動トリアージプロセスを、レコードを正しいアサイン先グループに自動的に割り当てる ML 分類ソリューションに置き換えています。このシナリオでは、ターゲット値を念頭に置いており、システムは少なくとも 80% の確率で正しく予測する必要があります。そこで、精度メトリックの値を 80 に設定し、「 値を適用」をクリックします。
以下は、システムがソリューションに適用した測定基準値です。このシナリオでは、精度値 80.04 が要求の 80% をわずかに上回っているため、この値で満足している可能性があります。
範囲構成の例
インシデントレコードをルーティングするための手動トリアージプロセスを置き換える別のシナリオ例では、最小目標は、その年の第 1 四半期に受信インシデントの少なくとも 70% を予測することです。そこで、カバレッジ メトリック値を 70 に設定し、[ 値の適用] をクリックします。
システムがソリューションに適用した測定基準値を次の図に示します。カバレッジ測定基準値が 35.99 から 55.98 に増加しました。ただし、精度メトリックは 80.18 から 64.97 に減少しました。これは、カバレッジ メトリックを比較的高い値である 70 に設定した場合や、トレーニングしているデータの分布方法が原因である可能性があります。
リコールの設定例
別のシナリオでは、受信メールがフィッシングであるかどうかの分類は、セキュリティ関連の機械学習ソリューションの重要なユースケースになる可能性があります。この状況では、すべてのフィッシングを識別することが非常に重要であり、非フィッシングをフィッシングとして報告することがあります。ただし、実際のフィッシングは非フィッシングとして分類されるべきではありません。このような状況では、再現率測定基準を高い値にする必要があり、これにより精度とカバー範囲のパーセンテージが低くなる可能性があります。したがって、ここで再現率メトリックを 95 に設定し、[ 値の適用] をクリックできます。
以下は、システムがソリューションに適用した測定基準値です。リコール測定基準値が 54.87 から 61.03 に増加しました。ただし、精度メトリックは 60.1 から 55.44 に低下しました。これは、再現率メトリックを高い値である 95 に設定したことが原因である可能性があります。
ソリューションに適用するソリューション測定基準値のクラスレベルの結果
次の図は、システムが 37 のクラスのソリューションの精度、カバレッジ、および再現率の統計量に適用したクラスレベルの結果の例を示しています。満足のいく結果が得られるまで、測定基準値を変更し続けることができます。
「推定精度」列でソート(zからa)すると、解の精度が最も高いクラスを確認できます。