モデル間競合レビュー
是正処置を行い、そのような競合を解決し、 NLU モデルのパフォーマンスを向上させることができるように、モデル内またはモデル間で競合するインテントを特定します。
使用方法の概要
モデル内のインテントの数が増えると、2つのインテントのスコープが重複する場合があります。これは、あるインテントのトレーニング発話が別のインテントの発話とほぼ同じである場合に発生する可能性があります。また、モデル間やアプリケーション間でも、インテントが競合している可能性があります。
発話は、インテントを予測する必要がないことを意味する「 関連なし」としてマークされることもあります。これらの無関係な発話がインテントに割り当てられた発話とあまりにも類似している場合、それらは競合レビューに表示されます。詳細については、「NLU での無関係の検出」を参照してください。
これらの問題に対処して修正するために、モデル間競合レビューではモデルの分析が実行されます。解析を使用して、モデルの公開と展開の前にこれらの問題を特定して解決します。
インストール
モデル間競合レビューは、 ServiceNow® Store で利用可能な NLU ワークベンチ:拡張機能型アプリの一部です。
モデル間競合レビューを使用するには、インスタンスで NLU ワークベンチ - 拡張機能型 (com.snc.nlu.workbench.advanced) プラグインがアクティブになっていることを確認してください。詳細については、「NLU ワークベンチのNLU ワークベンチのインストール:拡張機能とアクティブ化」を参照してください。
ロール
モデル間競合レビューにアクセスするには、nlu_admin ロールまたは admin ロールを使用します。モデルにアサインされると、nlu_editorはそのモデル内の競合を解決できます。
分析の実行
[競合レビュー] 画面には、インスタンスで作成されたすべての競合レビューのリストビューが表示されます。レビューが完了すると、レビューの実行中リストに追加されます。このシナリオ例では、インスタンスで最初のレビューを作成しているため、完了すると、1 件のレビューのうちの 1 件としてカウントに表示されます。時間の経過とともにより多くの競合が発生すると、リストに複数のレビューが表示されます。
競合レビューは、1 つまたは 2 つの NLU モデルで分析されます。単一のモデルで分析を実行すると、そのモデルにのみ存在するインテントと発言が表示されます。2 つのモデルで分析を実行すると、両方のモデルにあるインテントと発言が表示されます。
競合レビューは、常に、分析するモデルの最後にトレーニングされたバージョンで実行されます。
競合レビューには、[ 重大] と [中] の 2 種類があります。標準的なアプローチは、重要なものから始めることです。
- 競合を無視
- いずれかのインテントから同一またはほぼ同一の発言を削除する
- 発話を編集して、互いに区別しやすくします
このシナリオ例では、2 つの異なるインテントにまったく同じ発話が含まれている競合を解決しています。
1. 移動先 .
2. [ 分析の実行]を選択します。
3. [矛盾を解析する 1 つまたは 2 つのモデルを選択] 画面の [モデル] フィールドで、解析する 2 つのNLUモデルを選択します。このシナリオ例では、 demo_hardware_issue モデルと demo_it_request モデルを選択します。
4. [分析の実行] を選択します。
[競合レビュー] 画面が更新され、分析のために選択した 2 つのモデル、レビュー中の重大および中程度の競合の数、完了したレビューの数、分析の実行日などの分析が表示されます。画面の右端の列をポイントすると、分析を再実行するか、削除して最初からやり直すかのオプションが表示されます。
5. [モデル] 列で、ペアになっている 2 つのモデルを選択して、レビューにドリルダウンできるようにします。
画面が更新され、競合レビューの詳細が表示されます。分析に選択した 2 つのモデルの概要、最新のトレーニング日、それらが保持している競合のタイプ、および分析のバージョンタイムスタンプをメモします。0/1 というカウントも注目してください。これは、これがこのインスタンスで作成された最初の競合レビューであることを示しています。システムが時間の経過とともにより多くの競合を検出し、それらの競合が確認されると、カウントは増加します。
下の画像の発話がそのままでよいと判断した場合は、[ 無視] をクリックする必要があります。[無視] をクリックすると、レビューが完了したことがシステムに通知されるため、レビュー済みとしてマークされ、次の競合レビューに進みます。ただし、このシナリオでは、同じ発話を共有するインテントはレビューに値する競合であるため、競合を無視しません。
この競合を解決する方法を決定するには、2 つのインテント名とそれらが共有する同一の発言を考慮してください。ラップトップを使用する可能性が高いのはどのインテントが 本当に遅い 発話であるかを考えます。2つのインテント名をよく比較すると、本当に遅いラップトップは、動作しないラップトップと同じではないことに気付くかもしれません。しかし、本当に遅いラップトップは、確かにラップトップの問題です。したがって、このシナリオ例では、インテントを深く掘り下げて、他の発話のコンテキストをスキャンすることにしました。
また、インテントで一意の発話を使用すると、どの発話がインテントに属するかをシステムがより正確に予測できるようになります。したがって、2 つのインテントのうち 1 つから発話を編集または削除する必要があります。このシナリオ例では、 #laptop_not_working インテントを掘り下げることにしました。
6. laptop_not_workingを選択します。
[#laptop_not_working インテント] 画面が表示され、現在の 3 つの発言が表示されます。ラップトップを削除するという決定を下すのは、#laptop_not_working インテントからの発言が本当に遅いからです。
7. 「この発言を削除 」ゴミ箱アイコンをクリックします。
[削除の確認] 画面が表示されます。
8. [削除] を選択します。
[Confirm Delete (削除を確認)] 画面が消え、ラップトップを削除したため、発話数が 3 から 2 に低下します。これは、ラップトップ がインテントからの発話が非常に遅い ためです。
9. [トレーニング] を選択します。
[Intent (インテント)] 画面にバナーが表示され、モデルが正常にトレーニングされたことを確認します。
10. ナビゲーターで [競合レビュー ] を選択します。
結果 :
[ 競合レビュー ] リスト画面が表示され、競合レビュー分析が完了し、レビューされたことが示されます。