다중 모델 배치 테스트
모델의 성능을 평가하기 위해 대규모 발언 집합에 대해 여러 자연어 이해 (NLU) 모델을 테스트합니다. 테스트 세트를 추가하고, 여러 모델을 테스트하고, 테스트 결과를 확인합니다.
요약 사용량
다중 모델 배치 테스트를 사용하여 발화와 예상 의도로 구성된 테스트 세트를 생성하고 업로드합니다. 그런 다음 NLU 모델에 대해 테스트를 실행할 수 있습니다.
다중 모델 배치 테스트는 지원되는 모든 NLU 언어에 대한 모델에서 작동합니다. NLU 언어 지원 문서를 참조하십시오.
설치
다중 모델 배치 테스트는 에서 사용할 수 있는 ServiceNow® Store- 고급 기능 앱의 일부입니다 NLU 워크벤치 .
다중 모델 배치 테스트를 사용하려면 - 고급 기능(com.snc.nlu.workbench.advanced) 플러그인이 인스턴스에서 활성 상태인지 확인합니다 NLU 워크벤치 . 자세한 내용은 NLU 워크벤치 활성화를 참조하십시오NLU 워크벤치 설치 - 고급 기능.
테스트 세트
테스트 세트 는 발화 및 일치된 의도의 목록입니다. CSV 또는 XLSX(Excel 통합 문서) 파일의 테이블을 사용하여 테스트 세트를 생성합니다. 테이블에는 2개의 열이 있어야 하는데, 하나는 발언에 대한 열이고 다른 하나는 예상 의도에 대한 열입니다. 테스트 세트에는 최대 10,000개의 행이 포함될 수 있습니다.
NLU 모델 테스트를 최대한 활용하려면 테스트 세트에 모델이 사용자로부터 접할 수 있는 발언이 포함되어야 합니다. 테스트 발언은 테스트할 모델과 동일한 언어여야 합니다. 테스트 세트에는 예상 의도가 없는 발화도 포함되어야 합니다. 예상 의도가 없는 발화를 포함하면 관련이 없고 의도를 예측하지 않아야 하는 발화를 탐지하는 모델의 기능을 평가하는 데 도움이 됩니다.
테스트 세트를 생성하려면 다음 문서를 참조하십시오 테스트 세트 생성.
테스트 세트가 있으면 학습된 NLU 모델을 테스트할 수 있습니다. 테스트를 시작하려면 을 참조하십시오 다중 모델 배치 테스트 실행.
테스트를 실행한 후 테스트 결과 페이지에 결과가 표시됩니다.
테스트 결과
테스트 결과 페이지에는 완료된 테스트와 진행 중인 테스트가 나열됩니다. 결과 페이지에는 테스트한 모델, 발언 수 및 예측 백분율이 한 눈에 표시됩니다.
테스트 결과의 상세 정보를 보려면 테스트 세트의 이름을 클릭합니다.
개요 페이지에는 결과에 대한 요약 정보가 표시되며 예측 세부 항목이 포함된 그래픽이 포함되어 있습니다.
주의가 필요한 의도(현재 모델)는 상위 5개의 누락된 의도와 잘못된 의도를 보여줍니다. 의도 이름을 클릭하여 잘못 예측된 테스트 발언을 드릴다운합니다. 이 정보를 사용하여 모델을 개선합니다.
자세한 결과 탭에는 테스트된 각 발화에 대한 정보가 나열됩니다. 여기에서 각 발언에 대한 모델별 예측 결과 및 신뢰도를 볼 수 있습니다. 검색 창을 사용하거나 필터 도구 및 열 헤더와 상호 작용하여 결과를 필터링합니다.
내보내기를 클릭하여 테스트 결과를 CSV 파일로 내보낼 수도 있습니다. 파일에는 자세한 결과 페이지와 동일한 열이 포함되어 있습니다.
테스트 결과를 이해하는 방법에 대한 자세한 내용은 을 참조하십시오 모델 테스트 및 게시.