トレーニング済み分類ソリューションのターゲットメトリクスの構成
トレーニング済み機械学習ソリューションの精度、カバレッジ、再現率の統計の値を設定します。
クラスまたはソリューションレベルでの分類メトリクス値の設定
予測インテリジェンス には、適合率、範囲、再現率の 3 つの分類メトリクスタイプがあります。これらのメトリクスは、トレーニング済み分類ソリューションフォームの [ソリューション統計情報] タブで構成します。クラスレベルでこれらのメトリクスに値を手動で設定することもできますが、カバーするクラスの数が多い場合は難しい場合があります。多くの場合、ソリューションがトレーニングされるまで、設定する最適な値がわからないことがあります。このトピックでは、ソリューション レベルでのみメトリック値を設定することに重点を置いています。
ソリューションメトリクスの構成
1 つのメトリクスに値を適用すると、他の 2 つのメトリクスの値が変更されます。この動作により、メトリクスをリアルタイムで繰り返し変更して、どの値の組み合わせが特定の結果をもたらすかを確認できます。メトリクスに新しい値を適用すると、システムは新しいターゲットを考慮してその値を再計算します。
メトリクスに値を適用すると、最も高いパーセンテージ値に基づいて設定したメトリクスを優先するように予測をトレーニングするようシステムに要求します。ただし、他のメトリクスを犠牲にします。システムはこれらの値を満たそうとしますが、トレーニングしているデータの分布方法により、要求どおりに正確に設定されない場合があります。
ソリューションレベルでメトリクス値を適用すると、クラスレベルで適切な値が自動的に設定されます。
- トレーニング済み ML ソリューションの [ソリューション統計情報] タブに移動します。
- 各メトリクスを定義する画面の緑色のバナーのメッセージを確認して、ソリューションにアサインする値をよりよく理解できるようにします。最初の 2 つのメッセージ バナーは、推定されるソリューション レベルのメトリックを示します。3 番目のバナーには、適用したソリューション値に基づくクラスレベルの結果が表示されます。
- [ ターゲットメトリクス ] 選択リストで、設定するメトリクスを選択します。
- [ ターゲットメトリクス値 ] フィールドに、0 〜 100 の数値のパーセンタイル値を入力します。
- 「 値の適用」をクリックします。
- 結果： [ソリューション統計量] タブでは、[ 推定ソリューション精度]、[ 推定ソリューション再現率]、および [推定ソリューション カバレッジ] の値の変更を確認できます。選択した ターゲットメトリクス とソリューションに入力した ターゲットメトリクス値 に基づいて、これらの値が計算されます。
最近トレーニングされた分類ソリューションのサンプルランディングページを次に示します。ご覧のとおり、精度メトリクスは 44.18、再現率は 41.26、カバレッジは 77.23 です。
ユースケースに合わせてこれらのデフォルト値を調整する必要がある場合は、以下のサンプル構成を参照してください。たとえば、実装している分類ソリューションに基づいて、精度、再現率、またはカバレッジのターゲットメトリクス値を変更することができます。適合率などの 1 つのメトリクスのターゲットメトリクス値を変更すると、再現率メトリクスとカバレッジメトリクスの値にも影響することに注意してください。
精度の設定例
このシナリオ例では、インシデントレコードをルーティングするための手動トリアージプロセスを、レコードを正しいアサイン先グループに自動的にアサインする ML 分類ソリューションに置き換えています。このシナリオでは、ターゲット値を念頭に置いており、システムは少なくとも 80% の確率で正しく予測する必要があります。そこで、精度メトリクスの値を 80 に設定し、[ 値の適用] をクリックします。
システムがソリューションに適用したメトリクス値は次のとおりです。このシナリオでは、精度値 80.04 が要求の 80% をわずかに上回っているため、その値に満足している可能性があります。
カバレッジ構成の例
インシデントレコードをルーティングするための手動トリアージプロセスを置き換える別のシナリオの例では、最小目標は、その年の第 1 四半期に受信インシデントの少なくとも 70% を予測することです。そこで、カバレッジメトリクス値を 70 に設定し、[ Apply Values] をクリックします。
システムがソリューションに適用したメトリクス値を次の画像に示します。カバレッジメトリクス値が 35.99 から 55.98 に増加しました。ただし、精度メトリックは 80.18 から 64.97 に減少しました。これは、カバレッジメトリクスを比較的高い値である 70 に設定した場合や、トレーニング中のデータの分布方法が原因である可能性があります。
リコールの設定例
別のシナリオでは、受信メールがフィッシングであるかどうかの分類が、セキュリティ関連の機械学習ソリューションの重要なユースケースになる可能性があります。この状況では、すべてのフィッシングを識別することが非常に重要であり、非フィッシングをフィッシングとして報告しても問題ない場合があります。ただし、実際のフィッシングを非フィッシングとして分類する必要はありません。このような状況では、再現率メトリクスは高い値である必要があり、その結果、精度とカバレッジのパーセンテージが低くなる可能性があります。ここで再現率測定基準を 95 に設定し、[ Apply Values] をクリックできます。
システムがソリューションに適用したメトリクス値は次のとおりです。再現率メトリック値が 54.87 から 61.03 に増加しました。ただし、精度メトリックは 60.1 から 55.44 に減少しました。これは、再現率メトリクスを高い値である 95 に設定したことが原因である可能性があります。
ソリューションに適用するソリューションメトリクス値のクラスレベル結果
次の図は、システムが 37 クラスのソリューションの精度、カバレッジ、再現率の統計量に適用したクラスレベルの結果の例を示しています。満足のいく結果が得られるまで、メトリクス値を変更し続けることができます。
[推定精度] 列でソート (z から a) すると、解の精度が最も高いクラスを確認できます。