교차 모델 상충 검토
모델 내 또는 모델 간에 상충하는 의도를 식별하여 시정 조치를 취하고, 이러한 상충을 해결하고, 모델 성능을 개선할 수 있습니다 NLU .
요약 사용량
모델 내의 의도 수가 증가하면 두 의도의 범위가 겹칠 수 있습니다. 이는 한 의도의 교육 발언이 다른 의도의 발언과 거의 동일한 경우에 발생할 수 있습니다. 모델 및 응용 프로그램 간에 상충하는 의도가 있을 수도 있습니다.
발화는 관련 없음으로 표시될 수도 있습니다. 이는 의도를 예측해서는 안 됨을 의미합니다. 이러한 관련 없는 발화가 의도에 할당된 발언과 너무 유사하면 상충 검토에 표시됩니다. 자세한 내용은 NLU에서 관련 없음 탐지 문서를 참조하십시오.
이러한 문제를 해결하고 수정하기 위해 교차 모델 충돌 검토는 모델에 대한 분석을 실행합니다. 모델 게시 및 배포 전에 분석을 사용하여 이러한 문제를 식별하고 해결합니다.
설치
교차 모델 상충 검토는 에서 사용할 수 있는 ServiceNow® StoreNLU 워크벤치 - 고급 기능 앱의 일부입니다.
교차 모델 상충 검토를 사용하려면 인스턴스에서 - 고급 기능(com.snc.nlu.workbench.advanced) 플러그인이 활성화되어 있어야 NLU 워크벤치 합니다. 자세한 내용은 NLU 워크벤치 활성화 섹션을 참조하십시오NLU 워크벤치 설치 - 고급 기능.
역할
교차 모델 상충 검토에 액세스하려면 nlu_admin 또는 관리자 역할을 사용하십시오. 모델에 할당되면 nlu_editor 해당 모델의 상충을 해결할 수 있습니다.
분석 실행
상충 검토 화면에는 인스턴스에서 생성된 모든 상충 검토의 목록 뷰가 표시됩니다. 검토가 완료되면 실행 중인 검토 목록에 추가됩니다. 이 예시 시나리오에서는 인스턴스에서 첫 번째 검토를 생성하므로 검토가 완료되면 개수에 1/1 검토로 표시됩니다. 시간이 지남에 따라 더 많은 충돌이 발생하면 목록에 여러 리뷰가 표시됩니다.
상충 검토는 하나 또는 두 개의 NLU 모델에 대해 분석됩니다. 단일 모델에 대한 분석을 실행하면 시스템은 해당 모델에만 있는 의도와 발화를 보여줍니다. 2개의 모델에 대한 분석을 실행하면 시스템은 두 모델 모두에 있는 의도와 발화를 보여줍니다.
상충 검토는 항상 분석하는 모델의 마지막으로 학습된 버전에서 실행됩니다.
상충 검토에는 비판 과 보통의 두 가지 유형이 있습니다. 표준 접근 방식은 중요한 것부터 시작하는 것입니다.
- 상충 무시
- 의도 중 하나에서 동일하거나 거의 동일한 발언 삭제
- 발언을 편집하여 서로 구분되도록 합니다.
이 예제 시나리오에서는 서로 다른 두 의도에 정확히 동일한 발화가 포함된 충돌을 해결합니다.
1. 다음으로 이동합니다. .
2. 분석 실행(Run analysis)을 선택합니다.
3. 상충을 분석할 모델 하나 또는 두 개 선택(Choose one or two models to analyze for conflicts) 화면의 모델(Model(s)) 필드에서 분석할 모델 두 개를 NLU 선택합니다. 이 예시 시나리오에서는 demo_hardware_issue 및 demo_it_request 모델을 선택합니다.
4. 분석 실행(Run Analysis)을 선택합니다.
상충 검토 화면이 새로 고쳐지고 분석을 위해 선택한 두 모델, 검토 중인 중요 및 보통 상충 수, 완료된 검토 수, 분석 실행 날짜를 포함한 분석이 표시됩니다. 화면의 맨 오른쪽 열을 가리키면 분석을 다시 실행하거나 삭제하고 처음부터 다시 시작할 수 있는 옵션이 표시됩니다.
5. 모델 열에서 검토로 드릴다운할 수 있도록 쌍을 이루는 두 모델을 선택합니다.
화면이 새로 고쳐지고 상충 검토의 상세 정보가 표시됩니다. 분석을 위해 선택한 두 모델의 요약, 최신 교육 날짜, 모델에 보관된 충돌 유형 및 분석의 버전 타임스탬프를 확인합니다. 또한 0/1 카운트는 이 경우에 생성된 첫 번째 상충 검토임을 나타냅니다. 시스템이 시간이 지남에 따라 더 많은 상충을 탐지하고 이러한 상충을 검토하면 카운트가 증가합니다.
아래 이미지의 발화가 그대로 괜찮다고 판단되면 무시를 클릭해야 합니다. 무시를 클릭하면 검토가 완료되었음을 알리고 검토됨으로 표시하고 다음 상충 검토로 이동합니다. 그러나 이 시나리오에서는 동일한 발화를 공유하는 의도가 검토할 가치가 있는 상충이므로 상충을 무시하지 않습니다.
이 상충을 해결하는 방법을 결정하려면 2개의 의도 이름과 공유하는 동일한 발화를 고려하십시오. 어떤 의도가 노트북을 사용할 가능성이 더 높은지 고려하는 것은 정말 느린 발화입니다. 2개의 의도 이름을 면밀히 비교해 보면, 속도가 정말 느린 노트북과 작동하지 않는 노트북이 다르다는 것을 알 수 있습니다. 그러나 정말 느린 노트북은 실제로 노트북 문제입니다. 따라서 이 예제 시나리오에서는 의도를 더 깊이 파고들어 다른 발화의 컨텍스트를 스캔하기로 결정합니다.
또한 의도에서 고유한 발화를 사용하는 경우 시스템이 어떤 발화가 의도에 속하는지 보다 정확하게 예측하는 데 도움이 됩니다. 따라서 2개의 의도 중 1개의 발언을 편집하거나 삭제해야 합니다. 이 예제 시나리오에서는 #laptop_not_working 의도를 자세히 알아보기로 결정합니다.
6. laptop_not_working 선택합니다.
현재 3개의 발화를 보여주는 #laptop_not_working 의도 화면이 나타납니다. 랩톱을 삭제하기로 결정한 것은 #laptop_not_working 의도에서 정말 느린 발화입니다.
7. 이 발언 휴지통 삭제 아이콘을 클릭합니다.
삭제 확인 화면이 나타납니다.
8. 삭제를 선택합니다.
삭제 확인 화면이 사라지고 노트북을 삭제했기 때문에 발화 수가 3에서 2로 떨어집니다. 이는 의도에서 나온 발화 의 속도가 정말 느립니다 .
9. 기차를 선택합니다.
모델이 성공적으로 학습되었음을 확인하는 배너가 의도 화면에 나타납니다.
10. 탐색기에서 상충 검토 를 선택합니다.
결과:
상충 검토 목록 화면이 나타나 상충 검토 분석이 완료되었으며 검토되었음을 보여 줍니다.