테스트 패널 피드백

  • 릴리스 버전: Xanadu
  • 업데이트 날짜 2024년 08월 01일
  • 읽기3분

    • 테스트 패널의 모델 시도 섹션에서 모델을 테스트 NLU 할 때 이 기능을 사용하여 모델의 의도 예측에 대한 피드백을 제공합니다.

    요약 컨텍스트

    모델이 발언에 대해 교육 및 테스트되고 모델이 의도 예측을 반환하는 경우, 반환하는 예측 의도에 대해 좋아요 또는 싫어요 등급을 제공할 수 있습니다. 다른 의도 예측을 올바름으로 표시하면 수정된 의도에 발언이 추가됩니다. 다른 모든 피드백은 지속적인 학습을 위해 캡처됩니다. 그러면 시스템이 피드백을 통합하여 모델 예측을 최적화합니다. 이 기능을 사용하려면 nlu_admin 역할이 있어야 모델에 액세스하고 모델을 테스트할 수 있습니다. NLU 편집자는 관리자가 테스트 패널에 할당한 경우 NLU 테스트 패널에 액세스할 수도 있습니다.

    예측 피드백 제공

    사용자가 제공하는 등급은 시스템이 의도를 발언과 일치시키는 데 도움이 됩니다. 이러한 등급은 시스템이 사용자 입력을 기반으로 의도 예측의 정확도를 지속적으로 학습, 발전 및 개선하는 데 필수적입니다. 또한 의도 예측이 올바른지 여부를 시스템에 알릴 수도 있습니다.

    아래 시나리오는 모델 테스트 패널과 상호작용하고 시스템에 예측 피드백을 제공하는 방법의 예를 보여줍니다. 모든 시나리오에서 다음 네 단계를 사용합니다.
    1. 모델의 모델 빌드 및 교육 단계에서 모델 체험 을 선택하여 테스트 패널을 엽니다.
    2. 테스트 패널의 테스트할 발화 입력 필드에 의도 중 하나의 교육 발화와 유사한 짧은 발화를 입력합니다.
    3. 이동을 클릭합니다.

      결과: 시스템이 테스트 패널의 상위 예측 섹션에서 테스트 발언에 대한 예측을 반환합니다.

    4. 좋아요 아이콘 또는 싫어요 아이콘을 클릭합니다.

      시스템이 사용자의 발언에 대한 올바른 의도를 예측했음을 알 수 있도록 하려면 좋아요 아이콘을 선택합니다.

      다른 모든 경우에는 싫어요 아이콘을 선택하여 이 예측을 개선하기 위한 피드백 제공 섹션을 엽니다. 여기서 상위 예측 의도 이외의 의도를 선택할 수 있습니다.

    시나리오 1: 테스트 패널의 모델 시도 섹션에서 hr에 대한 도움말 을 발언으로 입력합니다. 상위 예측 결과가 나타나면 예측된 의도가 발화와 올바르게 일치한다고 확신할 수 있습니다. 따라서 이 경우 엄지척 아이콘을 클릭합니다.

    결과:
    • 시스템이 올바른 의도를 예측했으며, 이 경우에는 #CreateHRGeneralInquiryCase입니다.
    • 피드백을 통해 시스템이 테스트 발언에 대해 올바른 의도와 일치했음을 알 수 있습니다.
    모델 시도 패널을 사용하여 상위 의도 예측 결과를 테스트하는 방법

    시나리오 2: 별도의 인스턴스에 있는 별도의 모델에서 다른 사용자가 hr 발언으로 동일한 도움말을 입력합니다. 시스템은 의도에 대한 상위 예측 결과로 응답하지만 사용자는 의도가 올바른지 여부를 확신할 수 없습니다. 따라서 이 사용자는 아래 이미지와 같이 싫어요 아이콘을 클릭합니다.

    여기서 싫어요를 선택하여 피드백 옵션을 호출합니다

    결과: 패널이 확장되어 사용자가 의도 예측을 개선하는 데 도움이 될 수 있는 피드백을 제출할 수 있는 이 예측을 개선하기 위한 피드백 제공 섹션이 표시됩니다.

    여기에는 두 가지 옵션이 있습니다.
    • 사용자가 올바른 의도가 있어야 함: 버튼을 클릭하면 테스트 발언에 더 적합한 의도를 선택할 수 있는 목록이 나타납니다. 이 예시 시나리오에서 사용자는 아래 이미지와 같이 작업 위치 검색 의도를 선택합니다.

      여기서 사용자는 시스템에서 예측한 것과 다른 의도를 모델에서 선택할 수 있습니다

    • 올바른 의도가 무엇인지 잘 모르겠습니다 프롬프트를 클릭하면 시스템은 상위 예측을 반환하는 대신 사용 가능한 차선의 의도 예측을 보여줍니다.

    시나리오 3: 별도의 인스턴스에 있는 별도의 모델에서 다른 사용자가 횡설수설을 사용하거나 모델이 사용하는 언어와 다른 언어를 사용하는 발언을 제출합니다. 예를 들어 아래 이미지와 같이 사용자가 영어가 아닌 언어와 영어로 구성된 발언을 실수로 제출합니다.

    사용자가 둘 이상의 언어가 포함된 발언을 실수로 제출하여 사용자가 피드백을 제공합니다.

    결과: 발화가 두 개의 다른 언어를 함께 사용하기 때문에 시스템에서 예측을 반환하지 않습니다. 의도를 예측하지 못했기 때문에 사용자는 피드백 제공 옵션을 클릭하여 모델 시도 섹션을 확장하여 다른 의도 대안을 표시합니다.

    예측이 수행되지 않았으므로 "의도를 예측하지 않아야 함" 옵션을 선택합니다.

    따라서 이 사용자는 프롬프트에서 의도를 선택하는 대신 No intent should be predicted(의도를 예측하지 않아야 함 ) 옵션을 선택합니다.사용자는 발언이 유효한 항목이 아니며 시스템이 예측을 반환하지 않았다는 것을 알고 있기 때문에 의도를 선택하지 않습니다.
    주:
    의도를 예측하지 않음을 선택하고 저장하면 발언이 속한 모든 의도에서 제거됩니다.

    시나리오 4: 예측에 대한 모델의 의도 목록에서 선택하는 것과 함께 발화가 모델과 관련이 없음을 시스템에 직접 알릴 수도 있습니다. 이렇게 하려면 이 발화에 대한 이 모델의 예측 제외 단추를 클릭한 다음 변경 내용 저장을 클릭합니다.

    사용자가 변경 내용을 저장하고, 제출한 발언에 대한 예측을 수행하지 않도록 선택합니다.

    결과: 아래 이미지와 같이 예측에 대한 사용자 피드백이 저장되었음을 확인하는 배너가 화면 맨 위에 나타납니다.

    배너는 피드백이 저장되었음을 확인합니다.

    피드백 기록에 액세스

    피드백 데이터는 ml_labeled_data 테이블에 저장되며 다른 ServiceNow 제품에서도 사용됩니다. 이 테이블에는 향후 예측에 사용할 수 있는 채팅 로그와 같은 가상 에이전트 여러 소스도 포함될 수 있습니다.