평가 플로우

  • 릴리스 버전: Australia
  • 업데이트 날짜 2026년 03월 12일
  • 소요 시간: 4분

    • 대화가 완료되면 평가를 수행하는 평가 실행을 위한 워크플로우입니다.

    대화는 다음 논리를 사용하여 평가됩니다.

    1. 대화 캡처:

      최종 사용자와 가상 에이전트의 모든 상호작용은 대화 테이블 [sys_cs_conversation]에 기록됩니다. 사용자가 대화를 종료하면 기록의 상태가 완료로 업데이트됩니다.

    2. 자동화된 플로우 평가 트리거:

      플로우 이름: 평가 실행.

      트리거 조건:
      • 테이블: 대화 테이블 [sys_cs_conversation]
      • 상태: 완료
      • 장치 유형: 웹 클라이언트, Slack, Teams, 봇에서 봇으로, 메신저

    실행 순서:

    작업 0: 오늘의 평가 횟수 확인
    • 평가 테이블에 대한 쿼리를 수행하고 기록 수를 가져옵니다.
    • 기록 수가 일별 최대 평가 수보다 적으면 작업 1로 계속 진행하고, 그렇지 않으면 플로우를 종료합니다.
    작업 1: evalExecuteCondition
    • 대화 참조와 함께 evalExecuteCondition.executeEvaluation 스크립트 포함을 호출합니다.
    • 임의의 숫자(1–100)를 생성합니다. ≤10(10% 임의 샘플링)인 경우에만 진행됩니다.
    • 결과: 추가 처리를 위해 true 또는 false를 반환합니다.
    작업 2: 조건부 분기
    • 예인 경우: 다음 작업을 진행합니다.
    • false인 경우: 평가가 중지됩니다.

    작업 3: 상호작용 테이블 조회:

    대화의 채널 메타데이터를 상호작용 테이블과 일치시켜 관련 기록을 가져옵니다.

    작업 4: 애플리케이션 범위 필터:

    상호작용의 애플리케이션 범위에 HR이 포함되지 않은 경우 계속합니다.

    작업 5: buildTranscript:

    자세한 녹취록 구성:
    • 태그: [사용자]: 사용자 메시지의 경우 [가상 에이전트]: 가상 에이전트 메시지의 경우
    • 참조 지식 된 문서의 경우:
      • [ 가상 에이전트]: 사용자 쿼리에 대한 도움말 문서: 로 태그가 지정되고 Article_Start/Article_End로 구분되어 Genius 결과를 대체하기 위해 전체 문서 본문을 가져옵니다.
      • 문서가 지식 HR 범위에 있거나 접근할 수 없는 경우 평가를 건너뜁니다.
      • 문서 컨텐츠가 지식 >10,000단어인 경우: 10,000단어로 자릅니다.
      • 첨부 파일(PDF/Word/Txt): 대신 Genius 결과를 사용하십시오.
    • 참조된 카탈로그 항목의 경우:

      이름, 간단한 설명, 설명을 추출하고 [가상 에이전트]로 주석이 추가됨 : 아래 옵션 중 하나를 선택하십시오. 인용 번호 포함.

    • 첫 번째 메시지가 라이브 에이전트에 대한 메시지이거나 라이브 에이전트가 처음 120단어 내에서 호출되는 경우: 평가 건너뛰기.
    출력:
    • ExecuteEvaluation(예/아니오)
    • 채팅 기록
    • 지식 문서 또는 카탈로그 항목 참조됨
    • 첫 번째 라이브 에이전트 발동 Sys_id(있는 경우)
    • 호출할 기술 목록(평가 대시보드의 모든 평가 기술)
    • 추가 평가 로그

    작업 6: 조건부 분기:

    ExecuteEvaluation이 예인 경우: 작업 7로 계속 진행합니다.

    작업 7: 채팅 분류 규칙 평가
    • 에서 sys_cs_message초기 대본을 작성합니다.
    • 채팅 주제 분류 규칙을 사용하여 다음을 결정합니다.
      • 대화를 평가해야 합니까? (ExecuteEvaluation: 참/거짓)
      • 주제 이름
      • 범주(IT/HR)
    • ExecuteEvaluation이 true인 경우: 작업 6으로 진행합니다.

    작업 8: 평가 기록 생성 또는 업데이트:

    다음을 사용하여 평가 [sn_na_conv_eval_evaluation] 테이블에 기록을 생성합니다.
    • 문서 대화: 대화 참조
    • 상태: 처리 중
    • 주제, 범주, 지식 문서 또는 카탈로그 참조, 첫 번째 라이브 에이전트 sys_id, 유형, 시작한 사용자, 메시지 로그

    작업 9: 각 스킬에 대해:

    작업 6에서 플래그가 지정된 각 기술에 대해 반복됩니다.

    작업 10: invokeApiDefinition
    • 입력: 기술 이름, 대화, 기록, 평가 ID
    • 기술 API를 비동기식으로 호출합니다 Now Assist .
    • sys_generative_ai_response_validator에서 사용할 수 있는 후처리는 다음 구문 분석을 수행합니다.
      • 포인트
      • 점수 이유
      • 추론의 예
    • 구문 분석된 데이터는 평가 메트릭 [sn_na_conv_eval_evaluation_metrics] 테이블(점수, 이유, 예 및 전체 점수 계산 이유[스크래치패드])에 생성됩니다.

    작업 11: 다음 기술을 계속하기 전에 7초 동안 기다립니다.

    특수 동작 및 에지 케이스 처리:
    • 샘플링: (무작위로 선택된) 대화의 10%만 평가됩니다.
    • 채널 필터: 웹, Slack, Teams, 봇에서 봇으로, 메신저만 해당됩니다.
    • 애플리케이션 범위: 범위에 _hr_ 이 있는 기록을 제외합니다.
    • 지식 문서 통제: HR에 대한 평가가 없거나 접근할 수 없습니다. 지식 문서, 문서 크기 제한 지식 및 파일 처리.
    • 첫 번째 라이브 에이전트 호출: 시작 시 또는 120단어 이내로 라이브 에이전트로 라우팅된 대화를 제외합니다.
    • 요청 완료 기술은 점수가 슬롯 채우기와 의도 사이에서 가장 낮은 점수로 태그되는 비즈니스 규칙의 일부로 추가됩니다.
    • 기록의 이유가 다음과 같이 추가됩니다.
      if (Slot filling score > Intent score) {
Intent reason is used
} else if (Slot filling score < Intent score) {
Slot filling reason is used
} else {
Both are used
}