테스트 세트 생성 및 관리

모델의 기본 테스트 세트를 NLU 사용하여 모델의 성능과 정확도를 테스트합니다. 에서 NLU 워크벤치컨텐츠를 빌드하거나 업데이트하여 시간이 지남에 따라 테스트 세트를 관리합니다.

주:

모델을 테스트하려면 애플리케이션 NLU 워크벤치 - 고급 기능을 설치합니다ServiceNow® Store. 자세한 내용은 NLU 워크벤치 설치 - 고급 기능 문서를 참조하십시오.

또는 에 AI 검색대한 가상 에이전트 모델을 만들 NLU 면 기본 테스트 세트가 만들어지고 모델에 연결됩니다. 기본 테스트 세트를 사용하여 모델의 성능을 평가할 수 있습니다. 처음에는 테스트 세트가 비어 있으며 콘텐츠로 채울 준비가 되어 있습니다.

기본 테스트 세트에 액세스

다음 방법 중 하나를 사용하여 기본 테스트 세트에 액세스합니다.

• 다음으로 이동 모두 > NLU 워크벤치 > 모델. 모델 애플리케이션의 탭을 선택한 다음 목록에서 모델의 이름을 선택합니다. 모델의 개요 페이지에서 모델 빌드 및 학습 카드를 찾아 단계 보기 버튼을 선택합니다. 그런 다음, 테스트 세트 탭을 선택합니다.
• 다음으로 이동 모두 > NLU 워크벤치 > 모델. 모델 애플리케이션의 탭을 선택한 다음 목록에서 모델의 이름을 선택합니다. 모델의 개요 페이지에서 테스트 범위 타일을 선택합니다.
• 다음으로 이동 모두 > 다중 모델 배치 테스트 > 테스트 세트 탭. 모델의 이름을 찾습니다. 기본 테스트 세트는 기본값으로 레이블이 지정됩니다.

기본 테스트 세트에 컨텐츠 추가

발화와 예상 의도를 추가하여 시간의 경과에 따른 테스트 세트를 빌드하고 관리합니다. 다음 방법을 사용하여 기본 테스트 세트에 내용을 추가할 수 있습니다.

• 테스트 발언과 예상 의도를 수동으로 추가합니다. 모델의 개요 페이지에서 다음으로 이동합니다. 모델 빌드 및 교육 > 테스트 세트 탭. 여기에 테스트 발언 입력 필드에 입력을 입력하고 적절한 의도를 선택한 다음 추가 단추를 선택합니다.

  이러한 테스트 발언에는 Manual의 소스가 할당됩니다.

• CSV 파일 또는 다른 모델에서 테스트 발언과 예상 의도를 임포트합니다. 컨텐츠를 기본 테스트 세트로 임포트하려면 모델의 개요 페이지에서 모델 빌드 및 교육 > 테스트 세트 탭. 테스트 발언 가져오기를 선택합니다.

  임포트된 테스트 발언에는 Manual의 소스가 할당됩니다.

• 전문가 피드백 루프 기능을 사용하면 채팅 로그의 실제 사용자 발화를 가상 에이전트 테스트 세트에 추가할 수 있습니다.

  이러한 테스트 발화에는 전문가 피드백 소스가 할당됩니다. 자세한 내용은 NLU 전문가 피드백 루프 문서를 참조하십시오.

테스트 범위

테스트 범위 점수는 기본 테스트 세트에 테스트 발언이 있는 모델의 활성화된 의도의 백분율입니다. 모델을 테스트하기 전에 적용 범위가 60% 이상인지 확인하십시오. 테스트 검사 점수가 높을수록 성능 테스트 결과가 더 정확합니다.

시스템이 배치 테스트 중에 최적의 신뢰도 임계값을 제공하려면 테스트 범위가 60% 이상이고 의도당 테스트 발화가 5개 이상이어야 합니다. 신뢰도 임계값에 대한 자세한 내용은 을 참조하십시오 NLU 모델 설정.

모델의 테스트 발언 중 약 10%를 "관련 없음"으로 표시, 즉 연결된 의도가 없는 것으로 표시하는 것을 목표로 합니다. 이는 모델이 예측 의도가 없어야 하는 관련 없는 발언을 처리하는 방법을 평가하는 데 도움이 됩니다. 관련 없는 발화에 대한 자세한 내용은 을 참조하십시오 NLU에서 관련 없음 탐지.

테스트 세트 사용

모델 테스트 및 게시 단계에서 기본 테스트 세트를 사용하려면 을 참조하십시오모델 테스트 및 게시.

다중 모델 배치 테스트에서 테스트 세트를 사용하려면 을 참조하십시오 다중 모델 배치 테스트.

기본 테스트 세트의 특성

인스턴스가 업그레이드되면 아직 없는 기존 모델에 대해 기본 테스트 세트가 생성됩니다.

이 모델 복제를 사용하여 모델을 복사하면 원본의 기본 테스트 세트가 새 모델에 복사됩니다. 자세한 내용은 NLU 모델 복제 문서를 참조하십시오.

테스트 세트의 발화는 학습 세트의 발화와 같을 수 없습니다.

기본 테스트 세트는 모델과 별도로 삭제할 수 없습니다.

테스트 세트 발화는 모델과 동일한 언어로 되어 있어야 합니다.

테스트 세트는 또는 AI 검색 모델에 사용할 가상 에이전트 수 있습니다.

기본 테스트 세트 다운로드 또는 이동

다음과 같이 기본 테스트 세트를 다운로드하거나 이동할 수 있습니다.

• 기본 테스트 세트는 CSV 형식으로 별도로 다운로드할 수 있습니다. 테스트 세트를 다운로드하려면 모델의 개요 페이지에서 모델 빌드 및 교육 > 테스트 세트 탭. 테스트 세트 다운로드를 선택합니다.
  주:

  테스트 세트 다운로드에서 다운로드한 테스트 세트에는 테스트 발언과 예상 의도가 포함되지만 소스는 포함되지 않습니다.
• 기본 테스트 세트는 업데이트 세트와 함께 이동할 수 있습니다. 업데이트 세트에 모델을 추가하면 NLU 테스트 발언, 예상 의도 및 소스를 포함한 기본 테스트 세트가 추가됩니다. 자세한 내용은 업데이트 세트에 NLU 모델 추가 문서를 참조하십시오.
• 모든 기존 모델 테이블에서 모델을 CSV로 익스포트 기능을 사용하는 경우 기본 테스트 세트는 포함되지 않습니다. 자세한 내용은 NLU 모델 익스포트 문서를 참조하십시오.