에이전트 워크플로우 평가

선택한 데이터 세트에 대해 에이전트 워크플로우를 평가하여 성능을 모니터링하고 다른 벤치마크에 대해 평가합니다.

시작하기 전에

평가 실행에는 평가하려는 에이전트 워크플로우의 실행 로그 데이터가 필요합니다. 새 에이전트 워크플로우의 경우 에서 AI 에이전트 스튜디오테스트하여 실행 로그를 만들 수 있습니다. 에이전트 워크플로우 테스트에 대한 자세한 내용은 다음 문서를 참조하십시오 에이전트 워크플로우 테스트.

에이전트 평가를 시작하는 방법에 대한 자세한 내용은 에이전트 평가 실행에 대한 일반 지침을 참조하세요.

필요한 역할: sn_aia.admin

프로시저

1. 다음으로 이동 모두 > Now Assist 기술 키트 > 에이전트 기반 평가.

   의 테스트 페이지에서 시작할 수도 있습니다 AI 에이전트 스튜디오. 다음으로 이동 모두 > AI 에이전트 스튜디오 > 테스트. 에이전트 워크플로우를 선택한 다음 평가 실행 설정을 선택합니다. 기술 키트로 Now Assist 리디렉션할 것인지 묻는 모달이 나타납니다. 기술 키트 열기를 선택합니다. 로 안내 설정리디렉션됩니다.

2. 평가 홈페이지에서 새 평가 실행을 선택하여 안내 설정을 시작합니다.
3. 일반 정보 추가 단계에서 이름을 추가하고 평가할 에이전트 워크플로우를 선택합니다.

   

4. 계속을 선택하여 다음 단계로 이동합니다.

   단계를 탐색할 때마다 평가 실행이 자동으로 초안으로 저장됩니다. 언제든지 초안으로 저장을 선택할 수 있습니다.

   안내 설정을 종료하려면 설정 종료를 선택할 수 있습니다. 에이전트 평가 페이지로 리디렉션됩니다.

   • 저장하고 종료를 선택하면 평가 실행이 에이전트 평가 페이지의 목록에 상태로 Draft나타납니다.
   • 취소 및 종료를 선택하면 평가 실행 초안이 삭제됩니다.
5. 평가 방법을 선택합니다.

   전체 작업 완료도 평가가 기본적으로 선택됩니다. 한 번에 여러 평가 방법을 실행하면 에이전트 워크플로우의 성능에 대한 보다 포괄적인 개요를 제공할 수 있습니다.

   각 계획에 대한 자세한 내용을 보려면 펼침 단추 아이콘( . )을 선택하여 각 평가 계획에 대한 카드를 확장할 수 있습니다.

   게시한 모든 사용자 지정 메트릭도 옵션으로 표시됩니다. 사용자 지정 메트릭이 표시되지 않으면 게시되었는지 확인합니다. 자세한 내용은 사용자 지정 메트릭 만들기를 참조하세요.

   

6. 데이터 세트를 선택합니다.
   1. 기존 데이터 세트를 선택하거나 직접 생성합니다.
   2. 새 데이터세트를 생성하려면 양식을 작성합니다.

      표 1. 데이터 세트 양식 선택

      필드 이름	설명
      이름	데이터 세트의 이름입니다.
      설명	데이터 세트 및 의도된 용도에 대한 일반적인 설명입니다.
      최대 기록(선택 사항)	평가를 실행하려는 데이터 세트 내의 최대 기록 수입니다. 데이터 세트에 최대 기록 수보다 많은 기록이 있는 경우 최대 기록 수 이후의 모든 기록은 해당 평가 실행에 대해 무시됩니다.
      필터	데이터 세트에 포함할 AI 실행 로그 기록의 범위를 좁히기 위한 조건입니다. 기본적으로 평가 중인 에이전트 워크플로우가 필터 조건으로 선택됩니다.

      

   3. 지정한 조건에 따라 기록 목록을 보려면 미리 보기 보기를 선택합니다.
      미리 보기 목록에서 일부 기록만 선택하여 기록 범위를 더 좁힐 수 있습니다. 선택하지 않은 기록은 데이터 세트에 포함되지 않습니다.
7. 안내 설정의 마지막 단계에서 에이전트 평가 상세 정보를 검토합니다.

   변경하려는 위치가 발견되면 뒤로 를 선택하여 이전 단계로 이동하거나 사이드바에서 단계를 선택할 수 있습니다.

   

8. 평가 시작을 선택합니다.

결과

평가 실행이 실행됩니다. 평가 실행을 완료하는 데 걸리는 시간은 다양하지만 완료되면 에이전트 평가 페이지에서 평가를 선택하여 결과를 볼 수 있습니다.

결과 페이지의 메트릭에 대한 자세한 내용은 에이전트 평가 실행 결과를 참조하세요.