NLU 모델 성능
모델 성능을 사용하여 NLU 모델이 최종 사용자 확인을 기반으로 VA(의도)를 가상 에이전트 얼마나 잘 예측했는지 확인합니다.
요약 사용량
모델 성능 애플리케이션은 NLU 모델이 NLU 발언에서 VA 사용자의 의도를 얼마나 잘 예측하는지에 대한 분석 및 보고서를 제공합니다. NLU VA 모델이 업데이트, 게시 및 배포되면 모델 성능을 사용하여 NLU 모델이 수행하는 의도 예측의 효과를 검토할 수 있습니다. 이러한 예측을 건너뛰면 모델에 대한 신뢰도 점수가 충분히 높은 의도를 예측할 수 없기 때문입니다. VA 주제 예측을 개선하기 위해 시스템에서는 지원하지 않는 VA 발언을 분석을 위해 클러스터로 그룹화한 다음 분석 결과를 식별하는 보고서를 생성합니다.
이 애플리케이션에 액세스하려면 nlu_admin 또는 관리자 역할을 사용하고 다음으로 이동합니다. .
설치
NLU모델 성능은 에서 사용할 수 있는 애플리케이션입니다.ServiceNow® Store 이 애플리케이션을 사용하려면 인스턴스에서 - 고급 기능(sn_nlu_workbench) 플러그인이 활성화되어 있는지 확인하십시오 NLU 워크벤치 . 자세한 내용은 NLU 워크벤치 활성화를 참조하십시오NLU 워크벤치 설치 - 고급 기능. NLU 모델 성능은 VA에서 들어오는 데이터에 의존하기 때문에 Glide 가상 에이전트(com.glide.cs.chatbot) 플러그인도 활성 상태여야 합니다. 가상 에이전트 활성화를 참조하십시오.
NLU를 위한 ServiceNow 대화형 인터페이스 설정 구성
성능 추적 NLU 에 도움이 되려면 먼저 에서 대화형 인터페이스(CI) 설정을 가상 에이전트구성해야 합니다. 이러한 설정에 액세스하려면 가상 에이전트용 NLU 모델 성능 방문 페이지 상단으로 이동하여 대화형 인터페이스 설정을 클릭합니다. 이 작업을 수행하면 아래 이미지와 같이 가상 에이전트의 CI 설정 페이지로 이동합니다.
설정을 구성하려면 virtual_agent_admin 또는 관리자 역할을 사용해야 합니다. 구성 지침은 가상 에이전트에서 NLU 구현 및 가상 에이전트 설정에서 NLU 언어 사용을 참조하십시오.
사용자 인터페이스(UI) 검토
- 성능 탭과 사용자가 VA와 상호작용할 때 발생하는 시나리오를 설명하는 데이터를 보여주는 컬러 차트입니다. 이 차트는 세 가지 색으로 분할되며 각각 사용자 시나리오를 나타냅니다. 차트에서 텍스트와 백분율이 있는 행을 범례라고 합니다. 범례의 첫 번째 행에 있는 세 가지 시나리오에는 두 번째 행에 아래에 두 개의 결과 시나리오가 있습니다. 범례 아래의 막대는 그 위에 있는 시나리오의 색상에 해당합니다. 이러한 막대의 크기는 각 시나리오의 백분율 값을 기준으로 합니다.
- 예를 들어 진한 파란색 막대는 이 VA 사용자 배치의 10%가 시스템이 VA 챗봇 대화에 사용할 올바른 주제를 제시했음을 확인했으며 사용자의 58%(진한 빨간색 막대로 표시)가 제시된 주제가 올바르지 않음을 확인했음을 보여줍니다. 이 두 시나리오 사이에 있는 시나리오는 사용자의 32%(짙은 갈색 막대로 표시됨)가 전혀 확인하지 않았음을 보여주는 시나리오입니다.
- 언제든지 모든 막대 표시 필터를 앞뒤로 전환하여 차트에서 색상이 지정된 막대와 관련 시나리오를 보거나 숨기는 것이 좋습니다. NLU 모델 성능에 처음 액세스하면 차트의 기본 뷰에는 시나리오의 첫 번째 행과 막대의 첫 번째 행만 표시됩니다.
- 보고 있는 시나리오에 따라 볼 수 있는 다른 뷰도 있습니다. 예를 들어, NLU 모델 성능에 처음 액세스할 때 범례의 첫 번째 행에 있는 시나리오를 클릭하면 시스템이 다른 두 시나리오의 막대를 숨깁니다. 이렇게 하면 집중하고 있는 시나리오가 나머지 시나리오와 부분적으로 분리되므로 UI를 덜 복잡하게 유지하는 데 도움이 됩니다. 이러한 작업은 데이터를 변경하지 않으며 차트 내의 범례 및 막대에 대한 다양한 보기를 표시할 뿐입니다.
- 성능 분석에 사용하기 위해 클러스터로 그룹화된 발언을 보여주는 지원되지 않는 발화 탭입니다. UI의 이 섹션에서는 전문가 피드백 루프 애플리케이션으로 이동하고 돌아올 수 있으며 분석을 실행할 수 있습니다.
지원되지 않는 발화는 관련 없는 발화와 다릅니다. 자세한 내용은 NLU의 관련 없음 탐지 문서를 참조하십시오.
- 막대형 차트 아래에 있는 성과 상세 정보 섹션입니다. 이 섹션에는 발화, 예측 의도, 예측 모델 및 예측 결과의 4개 열이 있습니다. 이 섹션에 표시된 상세 정보는 범례 데이터 및 그 위에 있는 막대 데이터와 상호 작용합니다.
VA 사용자 시나리오 검토
UI의 범례 섹션에는 텍스트와 백분율에 정보 아이콘이 함께 제공됩니다. 아이콘을 가리키면 해당 사용자 시나리오에 대한 정의가 호출됩니다. 정의를 보려면 아래 테이블을 참조하십시오.
| 시나리오 | 정의 |
|---|---|
| 사용자가 올바름으로 확인됨 | 최종 사용자에게 올바른 주제가 표시되었고 최종 사용자가 올바른지 확인했습니다. |
| 주제가 시작되었습니다. 사용자가 올바른 것으로 확인됨 | 주제가 시작되었고 사용자가 필요한 주제임을 확인했습니다. |
| 주제 메뉴가 표시됨, 사용자가 하나 선택함 | 여러 주제가 사용자에게 메뉴로 표시되었고 사용자는 필요한 문제를 해결하기 위해 주제 중 하나를 선택했습니다. |
| 사용자가 확인하지 않음 | 주제가 시작되었지만 사용자는 해당 주제가 자신의 필요를 충족하는지 확인하지 못했습니다. |
| 예측 없음, 대체 주제 시작 | 예측이 없었고 대체 주제가 시작되었습니다. |
| 주제 시작됨, 사용자 확인 없음 | 주제가 시작되었지만 사용자가 주제가 올바른지 확인하지 않았습니다. |
| 사용자가 올바르지 않음으로 확인됨 | 제시된 주제가 최종 사용자의 요구를 다루지 않았으며 사용자가 올바르지 않음을 확인했습니다. |
| 주제가 시작되었습니다. 사용자가 올바르지 않음으로 확인됨 | 주제가 시작되었고 사용자가 올바르지 않다는 것을 확인했습니다. |
| 주제 메뉴가 표시됨, 사용자가 선택하지 않음 | 여러 주제가 사용자에게 메뉴로 표시되었고 사용자는 관련된 주제가 없다고 판단했으며 주제를 선택하지 않았습니다. |
언어 및 모델 필터 사용
성능 탭에서 언어 및 모델 필터를 볼 수 있습니다. 그 옆에는 차트의 범례와 막대 위에 설정한 가장 최근의 날짜 범위 값도 볼 수 있습니다. 언어 필터를 클릭하면 에서 사용할 수 있는 NLU모든 언어가 표시됩니다. 모델 필터를 클릭하여 인스턴스에서 사용할 수 있는 모든 예측 모델을 봅니다. 언어 필터의 기본 설정은 모든 언어이고 모델 필터의 기본 설정은 모든 모델입니다.
언어 및 모델 필터는 서로 상호 작용합니다. 예를 들어 언어 필터에서 French-fr을 선택하면 다음 이미지와 같이 모델 필터에 프랑스어를 사용하는 인스턴스의 모든 예측 모델이 자동으로 표시됩니다.
- 모델 필터에서 특정 모델을 선택하면 언어 필터 값이 업데이트되어 선택한 모델의 언어가 표시됩니다.
- 언어 필터에서 특정 언어를 선택하면 모델 필터에는 선택한 언어의 모델만 표시됩니다.
날짜 범위 설정
성능 탭에서 날짜 범위를 사용하여 시스템에서 VA 데이터를 가져올 범위를 정의합니다. 지난 30일, 지난 60일, 지난 90일 또는 사용자 지정 범위를 선택합니다. 날짜 범위를 뒤로 이동할수록 분석에 더 많은 데이터가 포함됩니다.
분석 실행
성능 분석을 실행하려면 지원되지 않는 발언 탭을 클릭합니다. UI의 이 섹션에는 주제 예측을 하지 않았거나 VA 최종 사용자가 예측한 주제가 잘못되었음을 확인한 VA 발언 NLU 이 포함된 확장 가능한 클러스터의 행이 표시됩니다. 다음으로 할 일은 전문가 피드백 루프를 클릭하는 것입니다. 이 작업을 수행하면 VA에서 가져온 발화를 검토하고 피드백을 제공하는 NLU 전문가 피드백 루프 애플리케이션으로 이동합니다.
전문가 피드백 루프 애플리케이션을 종료하고 NLU 모델 성능으로 돌아가면 클러스터에서 캐럿 아이콘을 클릭하여 엽니다. 그러면 다음 이미지와 같이 클러스터 내에서 가장 대표적인 VA 발언을 볼 수 있습니다.
분석 실행 또는 분석 재실행 중 사용 가능한 것을 클릭합니다. 분석을 실행할 때마다 시스템은 가장 최근의 VA 발언을 분석으로 가져옵니다.