Now Assist 가디언 분석
를 통해 Now Assist 가디언활성화된 가드레일의 성능을 모니터링합니다.
분석 대시보드는 Now Assist 가디언 관리자가 대규모 언어 모델(LLM)에 전송된 요청과 응답을 추적하고 분석하는 데 있어 불쾌한 콘텐츠와 프롬프트 삽입 가드레일의 효과를 모니터링하고 평가하는 데 도움이 됩니다.
대시보드 페이지의 Now Assist 가디언 표시기는 다음과 같은 인사이트를 제공합니다.
- 공격적인 활성 콘텐츠 및 프롬프트 삽입 가드레일로 인한 평균 대기 시간입니다. 지연 시간이 길면 해당 기간 동안 가드레일 활동이 증가할 수 있습니다.
- 불쾌한 콘텐츠 및 프롬프트 삽입 발생 횟수와 백분율입니다.
- 불쾌한 콘텐츠와 프롬프트 삽입 발생이 탐지된 기술입니다.
대시보드에 필터를 적용하여 날짜 범위의 기술에 대한 가드레일 활동을 봅니다. 각 표시기의 이면에 있는 데이터 및 계산에 대한 자세한 내용은 문서를 참조하십시오 Now Assist 분석 대시보드 표시기 상세 정보 .
불쾌한 콘텐츠 표시기
- 가드레일 추가된 대기 시간
- 대시보드의 이 영역에는 선택한 기술 및 날짜 범위에 대한 활성 불쾌한 콘텐츠 가드레일의 결과로 인한 평균 대기 시간이 표시됩니다.
그림 2. 가드레일 추가된 대기 시간 표시기 - 불쾌감을 주는 것으로 플래그가 지정된 비율
- 대시보드의 이 영역에는 불쾌한 콘텐츠로 플래그가 지정된 LLM 서비스와의 요청 및 응답의 백분율이 표시됩니다.
그림 3. 불쾌한 표시기로 플래그가 지정된 백분율 - 불쾌한 콘텐츠 발생의 총 수
- 대시보드의 이 영역에는 선택한 기술 및 날짜 범위에 대한 불쾌한 콘텐츠 발생의 총 수가 표시됩니다.
그림 4. 총 불쾌한 콘텐츠 발생 표시기 - 불쾌한 콘텐츠의 범주
- 대시보드의 이 영역에는 불쾌한 콘텐츠 발생의 범주별 세부 항목이 표시됩니다. 콘텐츠가 둘 이상의 범주(예: 유해하고 명예를 훼손하는 콘텐츠)에서 불쾌감을 주는 것으로 간주되는 경우, 발생은 두 범주에 개별적으로 계산됩니다. 불쾌감을 주는 콘텐츠 범주에 대한 자세한 내용은 다음 문서를 참조하십시오 .
그림 5. 불쾌한 콘텐츠 표시기의 범주 - 기술별 불쾌한 콘텐츠 발생 수
- 대시보드의 이 영역에는 콘텐츠가 탐지된 기술별로 시간 경과에 따른 불쾌한 콘텐츠 발생 수가 표시됩니다.
그림 6. 기술별 불쾌한 콘텐츠 발생 표시기
프롬프트 삽입 표시기
- 가드레일 추가된 대기 시간
- 대시보드의 이 영역에는 선택한 기술 및 날짜 범위에 대한 활성 프롬프트 삽입 가드레일의 평균 대기 시간이 표시됩니다.
그림 7. 가드레일 추가된 대기 시간 표시기 - 프롬프트 삽입으로 플래그된 비율
- 대시보드의 이 영역에는 불쾌한 콘텐츠로 플래그가 지정된 LLM 서비스와의 요청 및 응답의 백분율이 표시됩니다.
그림 8. 프롬프트 삽입 표시기로 플래그가 지정된 백분율 - 프롬프트 삽입 발생의 총 수
- 대시보드의 이 영역에는 선택한 기술 및 날짜 범위에 대한 불쾌한 콘텐츠 발생의 총 수가 표시됩니다.
그림 9. 총 프롬프트 삽입 발생 표시기 - 기술별 프롬프트 삽입 발생 수
- 대시보드의 이 영역에는 프롬프트 삽입 시도가 탐지된 기술에 따라 시간 경과에 따른 프롬프트 삽입 발생 횟수가 표시됩니다.
그림 10. 기술 표시기별 프롬프트 삽입 발생