LLM 주제 테스트

채팅 창에서 대규모 언어 모델(LLM)을 사용하는 주제를 미리 보고, 테스트하고, 디버그합니다 가상 에이전트 디자이너 .

작업하면서 채팅 테스트 창에서 대화를 실행하여 주제의 기능을 테스트할 수 있습니다. 웹(서비스 포털) 채팅 클라이언트가 기본 테스트 창입니다.

LLM(대규모 언어 모델) 주제는 (NLU) 주제에 자연어 이해 비해 더 빠르고 쉽게 테스트할 수 있습니다. 예를 들어 주제에서와 같이 발언을 업데이트하고 모델을 다시 교육한 후에는 주제를 NLU 다시 테스트할 필요가 없습니다.

외부 공급업체 메시징 앱과의 가상 에이전트 통합을 사용하는 경우, 대화의 요소가 외부 공급업체 메시징 애플리케이션에 다르게 나타날 수 있습니다. 배포 가상 에이전트하려는 외부 공급업체 애플리케이션에서 대화를 테스트합니다.

주:

패널, Microsoft Teams 애플리케이션 또는 Slack 애플리케이션이 Now Assist 사용자 환경에 맞게 구성된 경우 해당 채널에 대한 미리 보기 옵션이 테스트 버튼 목록에 표시됩니다. 목록에서 Now Assist 패널에서 미리 보기 또는 Microsoft Teams에서 미리 보기 를 선택하여 해당 환경에서 주제를 테스트합니다.

채팅 테스트 창에서 LLM 주제 테스트

주:

주제 기술을 설치 Now Assist가상 에이전트 하고 켜 Now Assist 면 업데이트된 가상 에이전트 디자이너 홈페이지 사용자 인터페이스를 사용할 수 있습니다. 이 컨텐츠에서는 사용자가 이 기술을 활성화했으며 목록 뷰를 볼 수 있다고 가정합니다. 이 기술이 활성화되지 않은 경우 레거시 UI 및 주제 페이지가 표시됩니다. 자세한 내용은 가상 에이전트 디자이너 레거시 주제 페이지를 참조하십시오.

캔버스와 가상 에이전트 디자이너 에서 가상 에이전트 디자이너 LLM 테스트 옵션을 찾을 수 있습니다. 채팅 테스트 창이 채팅 내 위젯에서 Now Assist가상 에이전트 열립니다. 도우미 드롭다운 목록과 주제 디스커버리 포함 옵션은 테스트를 시작한 위치와 LLM 도우미를 설정했는지 여부에 따라 표시될 수 있습니다.

주제 헤더 표시줄의 테스트 옵션으로 작업하여 캔버스에서 가상 에이전트 디자이너 LLM 주제를 테스트합니다. 단일 주제에서 테스트할 때 도우미와 함께 작업하려면 주제 디스커버리 포함 옵션을 선택해야 합니다. 주제가 여러 LLM 도우미와 연결된 경우 도우미 드롭다운 목록을 사용하여 테스트할 도우미를 선택합니다. LLM 도우미에 대한 자세한 내용은 다음 문서를 참조하십시오 LLM 도우미.

주:

주제에 필요한 정보가 없는 경우 플로우 다이어그램 창 모서리에 불완전한 배지가 나타납니다. 각 노드 옆에도 경고 배지가 나타납니다. 미완료 배지에는 총 문제 수가 나열되고 로컬 경고 배지에는 각 노드에서 발견된 문제 수가 표시됩니다. 문제가 있을 때 테스트를 선택하면 각 문제의 상세 정보와 함께 존재하는 문제 수가 포함된 문제 창이 열립니다. 이러한 상세 정보에는 전체 설명과 불완전한 각 항목에 대한 하이퍼링크가 포함됩니다.

또는 주제 페이지에서 활성(게시된) LLM 주제를 테스트할 수 있습니다. LLM 도우미 필터를 사용하여 해당 도우미와 연결된 주제로만 주제를 제한한 다음, 활성 주제 테스트를 선택합니다. LLM 도우미 필터를 사용하지 않는 경우 활성 주제 테스트 드롭다운 목록에서 LLM 도우미 주제 테스트를 선택합니다. 주제 페이지에서 활성 주제 테스트 옵션 또는 하위 옵션을 사용할 때는 주제 검색이 활성화되어 옵션으로 나열되지 않습니다. 주제 페이지에서 테스트할 때는 채팅 테스트 창에 도우미 드롭다운 목록이 나타납니다. 도우미 드롭다운 목록을 보려면 도우미에서 가상 에이전트 최소한 기본값 Now Assist 을 설정한 상태여야 합니다. 주제가 하나의 LLM 도우미와만 연결된 경우 도우미 드롭다운 목록은 기본적으로 해당 도우미 이름으로 설정됩니다. 도우미가 여러 명인 경우 도우미 드롭다운 목록을 사용하여 함께 작업할 도우미를 선택합니다. 여러 LLM 도우미 생성에 대한 자세한 내용은 다음 문서를 참조하십시오 도우미 화면에서 LLM 가상 에이전트 관리.

발언 위에 마우스를 대면 나타나는 좋아요 아이콘 또는 싫어요 싫어요 아이콘 옵션 중에서 선택하여 LLM이 작성한 각 발화에 대한 피드백을 제공할 수 있습니다. 입력 수집기를 제외한 모든 LLM 사용자 입력에는 이러한 피드백 옵션이 있습니다.

채팅 테스트 창에는 테스트할 때 주제에 대한 세부 정보를 제공하는 인접한 탭도 표시됩니다. LLM 주제를 테스트할 때 사용할 수 있는 탭은 다음과 같습니다.

• 테스트 구 분석 - 입력을 기반으로 한 주제 디스커버리 결과입니다.
• 지침 수정 - LLM으로 전송된 주제의 모든 지침 목록입니다. 이 탭은 단일 주제를 테스트할 때만 사용할 수 있습니다.
• 변수 - 입력 및 라이브 에이전트 변수와 같이 대화에 사용되는 모든 변수의 목록입니다.
• 변수 편집 - 이 항목에서 사용되는 변수를 편집하기 위한 옵션입니다.
• 컨텍스트 - 주제가 실행되는 컨텍스트를 지정하는 옵션입니다(컨텍스트 변수 사용).
• 로그 - 수행된 처리의 목록입니다.

그림 1. 예제 테스트 창 및 탭

캔버스에서 관련 주제 유형을 테스트할 때 나타나는 탭은 다음과 같습니다.가상 에이전트 디자이너

• 테스트 구문 분석, 지침 수정, 변수 및 로그 탭이 모든 LLM 주제 유형에 대해 나타납니다.
• 주제 블록과 사용자 지정 통제에 대한 변수 편집 탭이 나타납니다.
• 주제 디스커버리 포함을 선택하면 주제, 설정 주제 또는 간단한 대화 주제에 대한 컨텍스트 탭이 나타납니다.

주제 페이지에서 테스트를 실행하는 경우 테스트 창에는 테스트 구문 분석, 변수, 컨텍스트 (기본적으로 사용 가능하며 주제 검색 포함 옵션 없음) 및 로그 탭만 표시됩니다.

테스트 구문 분석 탭

LLM 주제를 테스트할 때 입력에 따라 주제 디스커버리 결과가 나타납니다. 기본 LLM 도우미와 연결된 주제를 테스트할 때는 기본 도우미의 승격된 자산만 나타납니다. 테스트 구문을 입력하면 Genius Results 은(는) 기술(주제) 디스커버리, 지식베이스 (KB) 문서 및 카탈로그 항목을 포함하여 활성화됩니다. 기술 검색 결과Matching 에서 검색된 기술 옆에 배지가 나타나고 주제에 따라 변수와 값(예: 변수 @laptop_make 및 값 macbook)도 나열될 수 있습니다. 이러한 Genius 결과는 게시된 주제를 테스트 중이고 주제 디스커버리 포함 옵션을 선택한 경우에만 나타납니다. 주제 디스커버리 포함 옵션이 비활성 상태로 나타나면 주제를 게시하고 속성 탭에서 LLM 도우미를 선택하여 주제 디스커버리 작업을 수행합니다. 검색 인덱싱 진행 중 메시지가 나타날 수 있지만 주제 디스커버리가 업데이트되지 않더라도 검색 인덱싱이 실행되는 동안 테스트할 수 있습니다. Genius 결과의 작동 방식에 대한 자세한 내용은 다음 문서를 참조하십시오 Now Assist in AI Search.

또한 주제 페이지에서 활성 LLM 도우미 주제를 테스트할 때 시맨틱 검색에 대한 기술 결과가 표시됩니다. 시맨틱 검색은 검색어의 의미와 컨텍스트를 분석하고 해당 정보를 사용하여 유사한 의미를 가진 결과를 찾습니다. 자연어를 해석하여 검색 의도를 보다 정확하게 반영함으로써 검색 회수율을 향상시킵니다. 주제 디스커버리 테스트를 위해 의미 체계 검색이 비활성화된 경우 해당 결과는 표시되지 않습니다. 시맨틱 검색에 대한 자세한 내용은 다음 문서를 참조하십시오 Semantic vector search in AI Search.

지침 수정 탭

주제에 LLM으로 전송되는 지침이 포함되어 있는 경우 해당 지침은 노드 범주에 표시됩니다. 노드 범주에는 캔버스의 LLM 사용자 입력 노드, 해당 필드 이름 및 해당 내용이 나열됩니다.

지침의 내용을 수정하여 대화에 대한 최적의 지침을 개발할 수 있습니다. 노드에 사용자 프롬프트 적용이 활성화되어 있으면 파란색 확인 아이콘 과 사용자 프롬프트 적용 메시지가 나타납니다. 노드의 지침을 수정하기 위한 사용자 프롬프트 적용 을 비활성화합니다.

사용자 입력에 자동 슬롯 채우기 허용 이 활성화된 경우 입력의 상세 정보 설명은 정적 필드가 됩니다. 자동 슬롯 채우기 허용이 비활성 상태인 경우 스크립트 또는 데이터 알약 선택기를 사용하여 상세 설명을 정의할 수 있습니다. 자세한 내용은 자동 슬롯 채우기 테이블 항목 텍스트 사용자 입력 통제 허용 또는 기타 LLM 사용자 입력 통제를 참조하십시오.

각 지침의 상태는 원본에서 시작 됩니다. 지침의 내용을 변경하면 상태가 수정됨으로 변경되고 그 옆에 되돌리기 아이콘 이 나타납니다. 수정된 총 지침 수는 탭 하단의 주제에 저장 버튼 옆에 나열됩니다. 수정된 지침을 테스트하려면 적용 및 다시 시작을 선택합니다. 지침의 변경 내용을 취소하려면 지침 옆에 있는 되돌리기 아이콘을 선택합니다. 또는 지침을 수정할 때 활성화되는 되돌리기를 선택하여 모든 변경 내용을 실행 취소합니다.

주:

주제에 저장을 선택하면 모든 변경 내용이 저장되고 수정된 모든 메시지가 원본으로 재설정됩니다.

다음 이미지는 LLM 지침 가이드라인 링크가 있는 사용자 정보를 보여주는 지침 수정 탭과 사용자 프롬프트가 있는 잠긴 노드를 포함하여 입력 수집기 내에 보유된 노드가 적용되는 메시지를 보여줍니다.

다음 이미지는 수정된 지침 및 주제에 저장 업데이트가 있는 지침 수정 탭을 보여줍니다. 변경하면 되돌리 기, 적용 및 다시 시작 옵션이 활성화됩니다.

노드의 지침에 불쾌감을 줄 수 있는 콘텐츠가 포함되어 있으면 노드에 경고 배지가 표시됩니다. 노드 이름 옆에 노란색 경고 아이콘 이 나타납니다. 적용 및 다시 시작을 선택하면 해당 지침이 입력되고 배지와 아이콘이 제거되며 수정됨 상태가 원본으로 되돌아갑니다.

다음 이미지는 불쾌한 콘텐츠 경고 배지, 아이콘 및 호버 메시지를 보여주는 지침 수정 탭을 보여줍니다.

변수 탭

변수 탭에는 대화에 사용된 모든 변수와 대화가 진행됨에 따라 캡처된 관련 값의 목록이 표시되므로 계속 진행할 수 있습니다. 대화에는 다음과 같은 변수 유형이 있을 수 있습니다.

• 입력 변수
• 스크립트 변수
• 라이브 에이전트 변수
• 호출 주제와 주제 블록 간에 전달되는 변수

목록은 변수 유형별로 섹션으로 구분됩니다. 다음 예는 입력 변수 섹션을 보여줍니다. 정적 목록 컨트롤의 경우 선택한 선택 항목에 대한 표시 레이블과 값이 모두 캡처됩니다.

다음 예에서는 그룹화된 목록 컨트롤에 대한 입력 변수 섹션을 보여줍니다. 이 변수 정보는 정적 목록 컨트롤과 유사하게 표시되지만, 변수는 그룹화된 선택 항목의 각 그룹으로 구분됩니다.

변수 편집 탭

주제 블록과 사용자 지정 통제를 테스트할 때 노드에서 찾은 변수를 편집할 수 있습니다.

컨텍스트 탭

컨텍스트 탭은 주제를 테스트하거나, 주제를 설정하거나, 간단한 대화 주제를 테스트할 때 채팅에 대해 다른 컨텍스트를 지정할 때 나타납니다. 목록에서 컨텍스트 변수를 선택합니다. 변수에는 주제 의도를 확인하거나 채팅이 라이브 에이전트로 라우팅되는 방법을 제어하는 데 사용할 수 있는 상황별 정보가 포함되어 있습니다. 예를 들어 변수 목록에서 포털 을 선택하고 포털 이름을 IT Express로 입력할 수 있습니다. 테스트 케이스를 생성할 때는 컨텍스트 탭을 사용할 수 없습니다.

컨텍스트 변수 정의에 대한 자세한 내용은 다음 문서를 참조하십시오 채팅 관련 정보를 저장하기 위한 컨텍스트 변수 구성. 에 포함된 가상 에이전트라이브 에이전트 변수에 대한 자세한 내용은 다음 문서를 참조하십시오 라이브 에이전트 채팅 컨텍스트 변수.

로그 탭

로그 탭에는 채팅에서 서버 이벤트, 사용자 항목 및 가상 에이전트 응답의 실행 중인 로그가 표시됩니다. 로그를 검토하여 잠재적 오류를 포함하여 채팅에 대한 중요한 데이터를 찾을 수 있습니다.

다음 단계

주제 테스트를 마치면 테스트 채팅 창을 닫습니다. 필요한 경우 테스트 정보를 사용하여 주제를 조정하여 보다 정확하게 수행하십시오. 예를 들어 테스트 구문 분석 탭의 결과는 낮은 점수 또는 불확실 하거나 알 수 없음 의 신뢰도 등급을 반환할 수 있습니다. LLM 사용자 입력 노드의 주제 설명 또는 지침을 업데이트하여 점수를 개선합니다.