LLM 주제 테스트 중

채팅 창에서 대규모 언어 모델(LLM)을 사용하는 주제를 미리 보고, 테스트하고, 디버그합니다 가상 에이전트 디자이너 .

작업하면서 채팅 테스트 창에서 대화를 실행하여 주제의 기능을 테스트할 수 있습니다. 웹()서비스 포털 채팅 클라이언트가 기본 테스트 창입니다.

대규모 언어 모델(LLM) 주제는 (NLU) 주제에 비해 자연어 이해 더 빠르고 쉽게 테스트할 수 있습니다. 예를 들어 주제와 마찬가지로 NLU 발언을 업데이트하고 모델을 재교육한 후에는 주제를 다시 테스트할 필요가 없습니다.

외부 공급업체 메시징 앱과 가상 에이전트 통합을 사용하는 경우 대화의 요소가 외부 공급업체 메시징 애플리케이션에서 다르게 나타날 수 있습니다. 배포 가상 에이전트하려는 외부 공급업체 애플리케이션에서 대화를 테스트합니다.

주:

Now Assist 패널 또는 Microsoft Teams 응용 프로그램이 사용자 환경에 맞게 구성된 경우 해당 채널에 대한 미리 보기 옵션이 [테스트] 버튼 목록에 표시됩니다. 목록에서 Now Assist 패널에서 미리 보기 또는 Microsoft Teams에서 미리 보기를 선택하여 해당 환경에서 주제를 테스트합니다.

채팅 테스트 창에서 LLM 주제 테스트

그림 1. LLM 테스트 옵션

주제 헤더 표시줄의 테스트 옵션을 사용하여 캔버스에서 가상 에이전트 디자이너 LLM 주제를 테스트합니다. 단일 주제에서 테스트할 때 도우미와 함께 작업하려면 주제 검색 포함 옵션을 선택해야 합니다. 주제가 여러 LLM 도우미와 연결된 경우 도우미 드롭다운 목록을 사용하여 테스트할 도우미를 선택합니다. LLM 도우미에 대한 자세한 내용은 다음 단원을 참조하십시오 LLM 도우미.

주:

주제에 필요한 자료가 누락된 경우 플로우 다이어그램 창 모서리에 미완료 배지가 나타납니다. 노란색 또는 빨간색 경고 배지도 각 노드 옆에 나타납니다. 불완전 배지에는 총 문제 수가 나열되고 로컬 경고 배지에는 각 노드에서 발견된 문제 수가 표시됩니다. 문제가 있을 때 테스트를 선택하면 각 문제의 상세 정보와 함께 존재하는 문제 수가 포함된 문제 창이 열립니다. 이러한 상세 정보에는 전체 설명과 불완전한 각 항목에 대한 하이퍼링크가 포함됩니다.

또는 주제 페이지에서 활성(게시된) LLM 주제를 테스트할 수 있습니다. LLM 도우미 필터를 사용하여 주제를 해당 도우미와 연결된 주제로만 제한한 다음 [Test active topics]를 선택합니다. LLM 도우미 필터를 사용하지 않는 경우 활성 주제 테스트 드롭다운 목록에서 LLM 도우미 주제 테스트를 선택합니다. 주제 페이지에서 활성 주제 테스트 옵션 또는 하위 옵션을 사용하는 경우 주제 검색이 활성화되므로 옵션으로 나열되지 않습니다. 주제 페이지에서 테스트할 때 도우미 드롭다운 목록이 채팅 테스트 창에 나타납니다. 도우미 드롭다운 목록을 보려면 이전에 도우미에서 가상 에이전트 최소한 기본값 Now Assist 을 설정해야 합니다. 주제가 하나의 LLM 도우미와 연결된 경우 도우미 드롭다운 목록은 기본적으로 해당 도우미 이름으로 설정됩니다. 도우미가 여러 명인 경우 도우미 드롭다운 목록을 사용하여 작업할 도우미를 선택합니다. 여러 LLM 도우미 생성에 대한 자세한 내용은 다음 단원을 참조하십시오 도우미 화면에서 LLM 가상 에이전트 관리.

웹 가상 에이전트 클라이언트에서 Now Assist 채팅 테스트 창이 열립니다. 도우미 드롭다운 목록과 주제 검색 포함 옵션은 테스트를 시작한 위치와 LLM 도우미를 설정했는지 여부에 따라 표시될 수 있습니다.

말을 마우스로 가리킬 때 나타나는 좋아요 좋아요 엄지척 아이콘(좋아요 좋아요 엄 또는 싫어요 아이콘(싫어 싫어요 아이콘) 옵션을 선택하여 LLM에서 생성한 각 발화에 피드백을 제공할 수 있습니다. 입력 수집기를 제외한 모든 LLM 지원 사용자 입력에는 이러한 피드백 옵션이 있습니다.

그림 2. LLM 발언 피드백 옵션

채팅 테스트 창에는 테스트를 진행할 때 주제에 대한 세부 정보를 제공하는 인접한 탭도 표시됩니다. LLM 주제를 테스트할 때 다음 탭을 사용할 수 있습니다.

• 테스트 구 분석 - 입력을 기반으로 하는 주제 검색에 대한 결과입니다.
• 지침 수정 - LLM으로 전송되는 주제의 모든 지침 목록입니다. 이 탭은 단일 주제를 테스트할 때만 사용할 수 있습니다.
• 변수 - 입력 및 라이브 에이전트 변수와 같이 대화에 사용되는 모든 변수의 목록입니다.
• 변수 편집 - 이 항목에 사용되는 변수를 편집하기 위한 옵션입니다.
• 컨텍스트 - 주제가 실행되는 컨텍스트(컨텍스트 변수 사용)를 지정하는 옵션입니다.
• 로그 - 수행된 처리의 목록입니다.

그림 3. LLM 테스트 채팅 테스트 창 및 테스트 탭 예시

캔버스에서 관련 주제 유형을 테스트하면 다음 탭이 가상 에이전트 디자이너 나타납니다.

• 모든 LLM 주제 유형에 대해 [Analyze test phrases], [Modify instructions], [Variables] 및 [Logs] 탭이 나타납니다.
• 주제 블록과 사용자 지정 통제에 대해 변수 편집 탭이 표시됩니다.
• 주제 검색 포함을 선택하면 주제, 설정 주제 또는 간단한 대화 주제에 대한 컨텍스트 탭이 나타납니다.

주제 페이지에서 테스트를 실행하는 경우 테스트 창에는 테스트 구 분석, 변수, 컨텍스트 ( 기본적으로 사용 가능, 주제 검색 포함 옵션 없음) 및 로그 탭만 표시됩니다.

테스트 구문 분석 탭

LLM 지원 주제를 테스트할 때 주제 검색에 대한 결과가 입력에 따라 나타납니다. 기본 LLM 도우미와 관련된 주제를 테스트할 때는 기본 도우미의 승격된 주제만 나타납니다. 테스트 구문을 입력하면 다음과 같은 다양한 검색 결과를 볼 수 있습니다. Genius 결과 기술(주제) 검색, 지식베이스 KB(지식베이스) 문서 및 카탈로그 항목을 포함하여 사용할 수 있습니다. 기술 검색 결과에 주제에 따라 변수 및 값(예: 변수 @laptop_make 및 값 macbook)도 나열될 수 있습니다. 이러한 Genius 결과는 게시된 주제를 테스트하고 주제 검색 포함 옵션을 선택한 경우에만 나타납니다. 주제 검색 포함 옵션이 비활성 상태로 나타나면 주제를 게시하여 주제 검색을 사용합니다. 검색 인덱싱 진행 중 메시지가 나타날 수 있지만 주제 검색이 업데이트되지 않더라도 검색 인덱싱이 실행되는 동안 테스트할 수 있습니다. Genius Results의 작동 방식에 대한 자세한 내용은 을 참조하십시오 Now Assist in AI Search.

또한 주제 페이지에서 활성 LLM 도우미 주제를 테스트할 때 시맨틱 검색에 대한 기술 결과를 볼 수 있습니다. 시맨틱 검색은 검색어의 의미와 컨텍스트를 분석하고 해당 정보를 사용하여 유사한 의미의 결과를 찾습니다. 검색 의도를 보다 정확하게 반영하기 위해 자연어를 해석하여 검색 상기를 개선합니다. 주제 검색 테스트를 위해 시맨틱 검색이 비활성화된 경우에는 해당 결과가 표시되지 않습니다. 시맨틱 검색에 대한 자세한 내용은 을 참조하십시오 Semantic vector search in AI Search.

그림 4. LLM 주제에 대한 테스트 구문 분석 탭 예

지침 수정 탭

주제에 LLM으로 전송되는 지침이 포함되어 있는 경우 노드 범주에 표시됩니다. 노드(Nodes) 범주에는 캔버스에 있는 LLM 지원 사용자 입력 노드, 해당 필드 이름 및 해당 콘텐츠가 나열됩니다.

지침의 내용을 수정하여 대화에 가장 적합한 지침을 개발할 수 있습니다. 노드에 사용자 프롬프트 적용 이 활성화되어 있으면 파란색 확인 아이콘()과 사용자 프롬프트 적용 메시지가 나타납니다. 비활성화 사용자 프롬프트를 적용 하여 노드의 지침을 수정합니다.

각 명령의 상태는 원본에서 시작합니다. 명령의 내용을 변경하면 상태가 수정 됨으로 변경되고 옆에 되돌리기 아이콘()이 나타납니다. 수정된 지침의 총 개수는 탭 하단의 주제에 저장 버튼 옆에 나열됩니다. 수정된 지침을 테스트하려면 적용 및 다시 시작을 선택합니다. 지침에 대한 변경 내용을 실행 취소하려면 지침 옆에 있는 되돌리기 아이콘을 선택합니다. 또는 지침을 수정할 때 활성화되는 되돌리 기를 선택하여 모든 변경 내용을 실행 취소합니다.

주:

주제에 저장을 선택하면 모든 변경 사항이 저장되고 수정된 메시지는 모두 원본으로 재설정됩니다.

그림 5. 지침 수정 탭 예

그림 6. 수정이 있는 수정 지침 탭 예

노드의 지침에 잠재적으로 불쾌감을 줄 수 있는 콘텐츠가 포함되어 있으면 노드에 경고 배지가 나타납니다. 노드 이름 옆에 노란색 경고 아이콘()도 나타납니다. 적용 및 다시 시작을 선택하면 해당 지침이 입력되고 배지와 아이콘이 제거되며 수정됨 상태가 원본으로 되돌아갑니다.

그림 7. 불쾌감을 줄 수 있는 컨텐츠 경고가 있는 수정 지침 탭의 예

변수 탭

변수 탭에는 대화에 사용된 모든 변수 목록과 대화가 진행됨에 따라 캡처되는 관련 값이 표시되므로 사용자가 따라할 수 있습니다. 대화에는 다음과 같은 변수 유형이 있을 수 있습니다.

• 입력 변수
• 스크립트 변수
• 라이브 에이전트 변수
• 호출 주제와 주제 블록 간에 전달되는 변수

목록은 변수 유형에 따라 섹션으로 구분됩니다. 다음 예제에서는 입력 변수 섹션을 보여 줍니다. 정적 목록 컨트롤의 경우 선택한 선택 항목에 대해 표시 레이블과 값이 모두 캡처됩니다.

그림 8. 입력 변수 목록 예시

다음 예제에서는 그룹화된 목록 컨트롤의 입력 변수 섹션을 보여 줍니다. 이 변수 정보는 정적 목록 컨트롤과 비슷해 보이지만 그룹화된 선택 항목의 각 그룹별로 변수가 구분됩니다.

그림 9. 그룹화된 선택 변수 목록 예시

변수 편집 탭

주제 블록과 사용자 지정 컨트롤을 테스트할 때 노드에 있는 변수를 편집할 수 있습니다.

컨텍스트 탭

컨텍스트 탭은 주제, 설정 주제 또는 간단한 대화 주제를 테스트할 때 채팅에 다른 컨텍스트를 지정할 때 표시됩니다. 목록에서 컨텍스트 변수를 선택합니다. 변수에는 주제 의도를 결정하거나 채팅이 라이브 에이전트로 라우팅되는 방식을 제어하는 데 사용할 수 있는 상황별 정보가 포함되어 있습니다. 예를 들어, 변수 목록에서 포털 을 선택하고 포털 이름 IT Express를 입력할 수 있습니다. 테스트 케이스를 생성할 때는 컨텍스트 탭을 사용할 수 없습니다.

컨텍스트 변수 정의에 대한 자세한 내용은 을 참조하십시오 채팅 관련 정보를 저장하기 위한 컨텍스트 변수 구성. 에 가상 에이전트포함된 라이브 에이전트 변수에 대한 자세한 내용은 을 참조하십시오 라이브 에이전트 채팅 컨텍스트 변수.

그림 10. 컨텍스트 탭 예제

다음 단계

주제 테스트를 마쳤으면 테스트 채팅 창을 닫습니다. 필요한 경우 테스트 정보를 사용하여 주제를 조정하여 더 정확하게 수행할 수 있습니다. 예를 들어 테스트 구 분석 탭의 결과는 낮은 점수 또는 확실하지 않거나 알 수 없는 신뢰 등급을 반환할 수 있습니다. LLM 지원 사용자 입력 노드에서 주제 설명 또는 지침을 업데이트하여 점수를 개선합니다.