테스트 패널 피드백

  • 릴리스 버전: Australia
  • 업데이트 날짜 2026년 03월 12일
  • 소요 시간: 3분

    • 테스트 패널의 모델 시도 섹션에서 모델을 테스트 NLU 할 때 이 기능을 사용하여 모델의 의도 예측에 대한 피드백을 제공합니다.

    요약 컨텍스트

    모델이 발언에 대해 학습되고 테스트되고 모델이 의도 예측을 반환하는 경우 반환되는 예측 의도에 대해 좋아요 또는 싫어요 등급을 제공할 수 있습니다. 다른 의도 예측을 올바른 것으로 표시하면 수정된 의도에 발언이 추가됩니다. 다른 모든 피드백은 지속적인 학습을 위해 캡처됩니다. 그런 다음 시스템은 피드백을 통합하여 모델 예측을 최적화합니다. 이 기능을 사용하려면 모델에 액세스하고 테스트하려면 nlu_admin 역할이 필요합니다. NLU 관리자가 NLU 할당한 경우 편집자도 테스트 패널에 액세스할 수 있습니다.

    예측 피드백 제공

    사용자가 제공하는 등급은 시스템이 의도를 발언과 일치시키는 데 도움이 됩니다. 이러한 등급은 시스템이 사용자 입력을 기반으로 의도 예측의 정확도를 지속적으로 학습, 발전 및 개선하는 데 필수적입니다. 또한 의도 예측이 올바른지 여부를 시스템에 알릴 수 있습니다.

    아래 시나리오에서는 모델 테스트 패널과 상호작용하고 시스템에 예측 피드백을 제공하는 방법의 예를 보여줍니다. 모든 시나리오에서 다음 네 단계를 사용합니다.
    1. 모델의 모델 빌드 및 학습 단계에서 모델 시도를 선택하여 테스트 패널을 엽니다.
    2. 테스트 패널의 테스트할 발언 입력 필드에 의도 중 하나에서 교육 발언과 유사한 간단한 발언을 입력합니다.
    3. 이동을 클릭합니다.

      결과: 시스템은 테스트 패널의 상위 예측 섹션에서 테스트 발언에 대한 예측을 반환합니다.

    4. 좋아 요 아이콘 또는 싫어요 아이콘을 클릭합니다.

      시스템이 발언의 올바른 의도를 예측했다는 것을 알리려면 좋아 요 아이콘을 선택합니다.

      다른 모든 경우에는 싫 어요 아이콘을 선택하여 이 예측을 개선하기 위한 피드백 제공 섹션을 엽니다. 여기에서 상위 예측 의도 이외의 의도를 선택할 수 있습니다.

    시나리오 1: 테스트 패널의 모델 시도 섹션에서 hr을 발언으로 help 를 입력합니다. 상위 예측 결과가 나타나면 예측 의도가 발언과 올바르게 일치한다고 확신할 수 있습니다. 따라서 이 경우 좋아요 아이콘을 클릭합니다.

    결과:
    • 시스템이 올바른 의도를 예측했으며 이 경우에는 #CreateHRGeneralInquiryCase입니다.
    • 피드백은 테스트 발언에 올바른 의도가 일치했음을 시스템에 알립니다.
    모델 시도 패널을 사용하여 상위 의도 예측 결과를 테스트하는 방법

    시나리오 2: 별도의 인스턴스에 있는 별도의 모델에서 다른 사용자가 HR 발언 으로 동일한 도움말 을 입력합니다. 시스템은 의도에 대한 상위 예측 결과로 응답하지만 사용자는 이것이 올바른 의도인지 여부를 확신할 수 없습니다. 따라서 이 사용자는 아래 이미지와 같이 싫 어요 아이콘을 클릭합니다.

    여기에서 싫어요를 선택하여 피드백 옵션을 호출합니다.

    결과: 패널이 확장되어 사용자가 의도 예측을 개선하는 데 도움이 될 수 있는 피드백을 제출할 수 있는 이 예측을 개선하기 위한 피드백 제공 섹션이 표시됩니다.

    여기에는 두 가지 옵션이 있습니다.
    • 사용자가 올바른 의도는 다음과 같아야 함 버튼을 클릭하면 테스트 발언에 더 적합한 의도를 선택할 수 있는 목록이 나타납니다. 이 예제 시나리오에서 사용자는 아래 이미지와 같이 작업 위치 검색 의도를 선택합니다.

      여기서 사용자는 시스템에서 예측한 의도와는 다른 의도를 모델에서 선택할 수 있습니다

    • 올바른 의도가 무엇인지 확실하지 않습니다 . 프롬프트를 클릭하면 시스템은 상위 예측을 반환하는 대신 사용 가능한 차선 전략 예측을 표시합니다.

    시나리오 3: 별도의 인스턴스에 있는 별도의 모델에서 다른 사용자가 횡설수설을 사용하거나 모델이 사용하는 언어와 다른 언어를 사용하는 발언을 제출합니다. 예를 들어 아래 이미지와 같이 사용자가 영어가 아닌 언어와 영어가 모두 구성된 발언을 실수로 제출합니다.

    사용자가 실수로 두 개 이상의 언어를 사용하는 발언을 제출하여 사용자가 피드백을 제공합니다.

    결과: 발언이 두 개의 서로 다른 언어를 함께 사용하기 때문에 시스템에서 예측을 반환하지 않습니다. 의도가 예측되지 않았으므로 사용자는 피드백 제공 옵션을 클릭하여 모델 시도 섹션을 확장하여 다른 의도 대안을 표시합니다.

    예측이 없었으므로 "의도를 예측해서는 안 됩니다." 옵션을 선택합니다.

    따라서 이 사용자는 프롬프트에서 의도를 선택하는 대신 의도를 예측해서는 안 됨 옵션을 선택합니다.사용자는 발언이 유효한 항목이 아니고 시스템이 예측을 반환하지 않았다는 것을 알고 있기 때문에 의도를 선택하지 않습니다.
    주:
    선택하고 저장하면 의도를 예측해서는 안 되며, 발언이 속한 모든 의도에서 발언이 제거됩니다.

    시나리오 4: 예측에 대한 모델의 의도 목록에서 선택하는 것과 함께 발화가 모델과 관련이 없음을 시스템에 직접 알릴 수도 있습니다. 이렇게 하려면 이 발언에 대한 이 모델의 예측 제외 버튼을 클릭한 다음 변경 내용 저장을 클릭합니다.

    사용자가 제출한 발언을 예측하지 않도록 선택하여 변경 내용을 저장합니다

    결과: 아래 이미지와 같이 예측에 대한 사용자 피드백이 저장되었음을 확인하는 배너가 화면 상단에 나타납니다.

    배너는 피드백이 저장되었음을 확인합니다.

    피드백 기록에 액세스

    피드백 데이터는 다른 ServiceNow 제품에서도 사용되는 ml_labeled_data 테이블에 저장됩니다. 이 테이블에는 향후 예측에 사용할 수 있는 채팅 로그와 같은 가상 에이전트 여러 소스도 포함될 수 있습니다.