에이전트 기반 평가 문제 해결

실행 실패, 데이터 수집 문제 및 예기치 않은 결과를 포함한 일반적인 평가 오류에 대한 솔루션을 찾습니다.

에이전트 기반 평가를 사용할 때 예기치 않은 실행 결과 또는 오류가 표시될 수 있습니다. 다음은 발생할 수 있는 상황과 이러한 상황이 발생하는 몇 가지 이유에 대해 설명합니다.

평가 실행 실패

평가 실행이 제대로 실행되지 않는 데는 몇 가지 다른 이유가 있습니다.

에이전트 버전을 사용할 수 없음

선택한 에이전트 버전이 아직 에 AI 에이전트 스튜디오있는지 확인합니다. 버전이 현재 활성 상태일 필요는 없지만 삭제되거나 보관된 버전은 평가할 수 없습니다.

사용자 권한

사용자 기록에 일반적으로 평가 실행을 실행하고 특정 AI 자산을 사용하는 데 필요한 권한이 있는지 확인합니다. 특정 사용자의 액세스 권한이 있는지 확인하기 위해 액세스 테스트를 수행할 수 있습니다. AI 에이전트에 대한 사용자 액세스 테스트 및 에이전틱 워크플로우에 대한 사용자 액세스 테스트 문서를 참조하십시오.

데이터 형식 오류

데이터 세트가 필수 형식을 준수하는지 확인합니다. 잘못된 형식의 기록으로 인해 평가가 실패할 수 있습니다. 지원되는 데이터 유형에 대한 에이전트 기반 평가에 대한 데이터 요구 사항을 참조하십시오.

메트릭 및 데이터 불일치

선택한 모든 메트릭에 필요한 데이터 입력이 있는지 확인합니다. 데이터 세트에 실측 자료 필드가 없는 경우 실측 자료가 필요한 메트릭이 실패합니다.

문제를 찾지 못함에도 불구하고 에이전틱 AI 자산의 성능 저하

평가 결과 문제가 발견되지 않았지만 특정 에이전틱 AI 자산이 여전히 허용 가능한 표준으로 수행되지 않는 경우 다음 사항을 고려하십시오.

데이터 세트 범위

평가 데이터 세트에는 에이전트의 약점을 노출하는 입력 또는 시나리오 유형이 포함되지 않을 수 있습니다. 데이터 세트에서 범위 격차가 있는지 검토하고 대표적인 엣지 케이스를 추가하여 평가 중인 내용을 실제 시나리오와 보다 밀접하게 일치시킵니다.

메트릭 선택

선택한 메트릭이 에이전틱 AI 자산의 실패 위치를 측정하지 못할 수 있습니다. 추가 또는 다른 메트릭이 성과 격차를 더 잘 포착할 수 있는지 검토합니다. 사용자 지정 메트릭을 생성하여 응답 길이 또는 응답이 특정 형식 요구 사항을 충족하는지 여부와 같은 에이전틱 AI 자산 응답 또는 작업의 다른 차원을 평가할 수 있습니다.

점수 임계치

메트릭의 통과 임계치는 요구 사항을 반영하지 않는 수준으로 설정될 수 있습니다. 메트릭 구성에서 임계치 설정을 검토하여 성공과 실패를 재정의합니다.

최적화가 적용되었으나 재평가 결과가 개선되지 않음

최적화를 적용한 후에도 재평가 점수가 개선되지 않으면 다음을 시도해 보십시오.

• 대상으로 지정된 문제에 대한 추적 상세 정보를 검토합니다. 최적화는 근본적인 근본 원인을 해결하지 않고 표면 수준의 증상만 완화했을 수 있습니다.
• 최적화로 인해 다른 메트릭에 회귀가 발생했는지 확인합니다. 한 영역의 점수 향상은 때때로 다른 영역의 점수를 저하시켜 최종 점수를 낮출 수 있습니다.
• 에이전틱 AI 자산의 단계 목록에 최적화가 적용된 경우 업데이트된 단계 목록이 평가 중인 버전에 적용되었는지 확인합니다.

데이터 처리 오류

데이터가 데이터 요구 사항을 충족하지 않아 데이터를 처리할 수 없으면 평가를 제대로 실행할 수 없습니다. 다음은 데이터 처리 오류의 일반적인 원인을 설명합니다.

잘못된 파일 형식

허용되는 파일 형식은 CSV 및 구조화된 JSON입니다. 다른 파일 형식은 처리할 수 없습니다.

필수 필드 누락

데이터 세트에는 선택한 메트릭에 필요한 필드가 포함되어야 합니다. 열이 누락되었거나 이름이 잘못되었는지 확인합니다. 실측 자료를 사용하는 경우 데이터 세트에 포함해야 합니다.

인코딩 문제

파일은 UTF-8로 인코딩되어야 합니다. 비표준 인코딩을 사용하는 파일은 처리하지 못할 수 있습니다.

파일 크기

매우 큰 파일 또는 데이터 세트는 처리 중에 시간이 초과될 수 있습니다. 이 경우 데이터 세트 크기를 줄이거나 플랫폼 관리자에게 문의하십시오.