NLU 모델 성능
모델 성능을 사용하면 NLU 모델이 최종 사용자 확인을 기반으로 VA(의도)에서 가상 에이전트 얼마나 잘 예측했는지 확인할 수 있습니다.
요약 사용량
NLU 모델 성능 애플리케이션은 모델이 VA 사용자의 발화를 통해 VA 사용자의 의도를 얼마나 잘 NLU 예측하는지에 대한 분석 및 보고서를 제공합니다. VA에 대한 모델이 업데이트, 게시 및 배포될 때 NLU 모델 성능을 사용하여 NLU 의도 예측의 효과를 검토할 수 있습니다. 이러한 예측을 건너뛰는 경우 모델에 대한 신뢰 점수가 충분히 높은 의도를 예측할 수 없기 때문입니다. VA 주제 예측을 개선하기 위해 시스템에서는 분석을 위해 지원되지 않는 VA 발언을 클러스터로 그룹화한 다음 분석 결과를 식별하는 보고서를 생성합니다.
이 애플리케이션에 액세스하려면 nlu_admin 또는 관리자 역할을 사용하여 .
설치
NLU 모델 성능은 다음에서 ServiceNow® Store사용할 수 있는 애플리케이션입니다. 이 애플리케이션을 사용하려면 인스턴스에서 - 고급 기능(sn_nlu_workbench) 플러그인이 NLU 워크벤치 활성화되어 있어야 합니다. 자세한 내용은 NLU 워크벤치 활성화 섹션을 참조하십시오NLU 워크벤치 설치 - 고급 기능. NLU 모델 성능은 VA에서 들어오는 데이터에 의존하므로 Glide 가상 에이전트(com.glide.cs.chatbot) 플러그인도 활성화되어 있는지 확인합니다. 가상 에이전트 활성화의 내용을 참조하십시오.
NLU에 대한 ServiceNow 대화형 인터페이스 설정 구성
성능 추적을 NLU 지원하려면 먼저 에서 가상 에이전트CI(대화형 인터페이스) 설정을 구성해야 합니다. 이러한 설정에 액세스하려면 가상 에이전트용 NLU 모델 성능 방문 페이지의 상단으로 이동하여 대화형 인터페이스 설정을 클릭합니다. 이 작업을 수행하면 아래 이미지와 같이 가상 에이전트의 CI 설정 페이지로 이동합니다.
설정을 구성하려면 virtual_agent_admin 또는 관리자 역할을 사용해야 합니다. 구성 지침은 가상 에이전트에서 NLU 구현 및 가상 에이전트 설정에서 NLU 언어 사용을 참조하십시오.
UI(사용자 인터페이스) 검토
- 성과 탭과 사용자가 VA와 상호작용할 때 발생하는 시나리오를 설명하는 데이터를 보여주는 컬러 차트입니다. 이 차트는 각각 사용자 시나리오를 나타내는 세 가지 색의 음영으로 분할됩니다. 차트에서 텍스트와 백분율이 있는 행을 범례라고 합니다. 범례의 첫 번째 행에 있는 세 가지 시나리오의 두 번째 행에는 두 가지 결과 시나리오가 있습니다. 범례 아래의 막대는 그 위에 있는 시나리오의 색상과 일치합니다. 이러한 막대의 크기는 각 시나리오의 백분율 값을 기준으로 다양합니다.
- 예를 들어 진한 파란색 막대는 이 VA 사용자 배치의 10%가 시스템에서 VA 챗봇 대화에 사용할 올바른 주제를 제시했음을 확인했으며, 사용자의 58%(진한 빨간색 막대로 표시)는 제공된 주제가 잘못되었음을 확인했음을 보여줍니다. 이 두 시나리오 사이에 있는 시나리오는 사용자의 32%(짙은 갈색 막대로 표시)가 전혀 확인하지 않았다는 것을 보여주는 시나리오입니다.
- 언제든지 모든 막대 표시 필터를 앞뒤로 전환하여 차트에서 색이 지정된 막대 및 관련 시나리오를 보거나 숨기는 것이 좋습니다. 또한 NLU 모델 성능에 처음 액세스하면 차트의 기본 뷰에 시나리오의 첫 번째 행과 막대의 첫 번째 행만 표시됩니다.
- 보고 있는 시나리오에 따라 볼 수 있는 다른 보기도 있습니다. 예를 들어, NLU 모델 성능에 처음 액세스하고 범례의 첫 번째 행에 있는 시나리오를 클릭하면 시스템에서 다른 두 시나리오의 막대를 숨깁니다. 이렇게 하면 집중하고 있는 시나리오를 나머지 시나리오와 부분적으로 격리하기 때문에 UI를 덜 복잡하게 유지하는 데 도움이 됩니다. 이러한 작업은 데이터를 변경하지 않으며 단순히 차트 내의 범례와 막대에 대한 다른 보기를 표시합니다.
- 성능 분석에 사용하기 위해 클러스터로 그룹화된 발화를 표시하는 지원되지 않는 발화 탭. UI의 이 섹션에서는 전문가 피드백 루프 애플리케이션을 탐색하고 돌아올 수 있으며 분석을 실행할 수도 있습니다.
지원되지 않는 발화는 관련 없는 발화와 다릅니다. 자세한 내용은 NLU에서 관련 없음 탐지 문서를 참조하십시오.
- 막대형 차트 아래에 있는 성과 상세 정보 섹션입니다. 이 섹션에는 발화, 예측 의도, 예측 모델 및 예측 결과의 네 가지 열이 있습니다. 이 섹션에 표시된 상세 정보는 범례 데이터 및 그 위에 있는 막대 데이터와 상호 작용합니다.
VA 사용자 시나리오 검토
UI의 범례 섹션에서 텍스트와 백분율은 정보 아이콘과 함께 표시됩니다. 아이콘을 가리키면 사용자 시나리오에 대한 정의가 호출됩니다. 정의를 보려면 아래 표를 참조하십시오.
| 시나리오 | 정의 |
|---|---|
| 사용자가 올바름으로 확인됨 | 최종 사용자에게 올바른 주제가 표시되었고 최종 사용자가 올바른지 확인했습니다. |
| 주제가 시작되었습니다. 사용자가 올바른 것으로 확인됨 | 주제가 시작되었고 사용자가 필요한 주제임을 확인했습니다. |
| 주제 메뉴가 표시됨, 사용자가 하나 선택함 | 여러 주제가 사용자에게 메뉴로 표시되었고 사용자는 필요한 문제를 해결하기 위해 주제 중 하나를 선택했습니다. |
| 사용자가 확인하지 않음 | 주제가 시작되었지만 사용자는 해당 주제가 자신의 필요를 충족하는지 확인하지 못했습니다. |
| 예측 없음, 대체 주제 시작 | 예측이 없었고 대체 주제가 시작되었습니다. |
| 주제 시작됨, 사용자 확인 없음 | 주제가 시작되었지만 사용자가 주제가 올바른지 확인하지 않았습니다. |
| 사용자가 올바르지 않음으로 확인됨 | 제시된 주제가 최종 사용자의 요구를 다루지 않았으며 사용자가 올바르지 않음을 확인했습니다. |
| 주제가 시작되었습니다. 사용자가 올바르지 않음으로 확인됨 | 주제가 시작되었고 사용자가 올바르지 않다는 것을 확인했습니다. |
| 주제 메뉴가 표시됨, 사용자가 선택하지 않음 | 여러 주제가 사용자에게 메뉴로 표시되었고 사용자는 관련된 주제가 없다고 판단했으며 주제를 선택하지 않았습니다. |
언어 및 모델 필터 사용
성능 탭에서 언어 및 모델 필터를 볼 수 있습니다. 그 옆에는 차트의 범례와 막대 위에 설정한 가장 최근의 날짜 범위 값도 표시됩니다. 언어 필터를 클릭하면 에서 사용할 수 있는 모든 언어를 볼 수 있습니다NLU. 모델 필터를 클릭하여 인스턴스에서 사용할 수 있는 모든 예측 모델을 봅니다. 언어 필터의 기본 설정은 모든 언어이고 모델 필터의 기본 설정은 모든 모델입니다.
언어 및 모델 필터는 서로 상호 작용합니다. 예를 들어, 언어 필터에서 French-fr을 선택하면 다음 이미지와 같이 모델 필터에 프랑스어를 사용하는 인스턴스의 모든 예측 모델이 자동으로 표시됩니다.
- 모델 필터에서 특정 모델을 선택하면 선택한 모델의 언어를 표시하도록 언어 필터 값이 업데이트됩니다.
- 언어 필터에서 특정 언어를 선택하면 모델 필터에는 선택한 해당 언어의 모델만 표시됩니다.
날짜 범위 설정
성능 탭에서 날짜 범위를 사용하여 시스템에서 VA 데이터를 가져올 거리를 정의합니다. 지난 30일, 지난 60일, 지난 90일 또는 사용자 지정 범위를 선택합니다. 날짜 범위를 거슬러 올라갈수록 분석에 더 많은 데이터를 갖게 됩니다.
분석 실행
성능 분석을 실행하려면 지원되지 않는 발화 탭을 클릭하십시오. UI의 이 섹션에는 주제를 예측하지 않은 VA 발언 또는 VA 최종 사용자가 예측된 주제가 잘못되었음을 확인한 VA 발언 NLU 이 포함된 확장 가능한 클러스터 행이 표시됩니다. 다음으로 할 일은 전문가 피드백 루프를 클릭하는 것입니다. 이 작업을 수행하면 VA에서 끌어온 발화를 검토하고 피드백을 제공하는 NLU 전문가 피드백 루프 애플리케이션으로 연결됩니다.
전문가 피드백 루프 애플리케이션에서 나가고 NLU 모델 성능으로 돌아가면 클러스터에서 캐럿 아이콘을 클릭하여 엽니다. 그러면 다음 이미지와 같이 클러스터 내에서 가장 대표적인 VA 발화를 볼 수 있습니다.
분석 실행 또는 분석 재실행 중 사용 가능한 항목을 클릭합니다. 분석을 실행할 때마다 시스템은 가장 최근의 VA 발언을 분석으로 끌어옵니다.