AI 컨트롤 타워의 상태 탭
를 통해 Now Assist 가디언활성화된 가드레일의 성능을 모니터링합니다.
대시보드의 AI 컨트롤 타워 상태 탭을 사용하면 AI 자산에서 활성화된 불쾌한 콘텐츠 및 프롬프트 삽입 가드레일의 효과를 모니터링하고 평가할 ServiceNow 수 있습니다.
상태 탭의 시각화는 다음과 같은 인사이트를 제공합니다.
- 공격적인 활성 콘텐츠 및 프롬프트 삽입 가드레일로 인한 평균 대기 시간입니다. 지연 시간이 길면 해당 기간 동안 가드레일 활동이 증가할 수 있습니다.
- 불쾌한 콘텐츠 및 프롬프트 삽입 발생 횟수와 백분율입니다.
- 불쾌한 콘텐츠와 프롬프트 삽입 발생이 탐지된 기술입니다.
대시보드는 상태 메트릭에 대한 기록 데이터를 고려하지 않습니다.
대시보드에 필터를 적용하여 날짜 범위의 기술에 대한 가드레일 활동을 봅니다.
콘텐츠 가드레일 효과성
- 플래그 처리된 컨텐츠 항목 수
- 대시보드의 이 영역에는 선택한 날짜 범위에서 불쾌한 콘텐츠 및 프롬프트 삽입 발생 건수가 표시됩니다.
그림 2. 플래그 처리된 컨텐츠 항목 수 - 총 사용 플래그가 지정된 컨텐츠 항목의 비율
- 대시보드의 이 영역에는 불쾌한 콘텐츠 및 프롬프트 삽입으로 플래그가 지정된 대규모 언어 모델(LLM) 서비스에서 오가는 요청 및 응답의 비율이 표시됩니다.
그림 3. 총 사용 플래그가 지정된 컨텐츠 항목의 비율
불쾌한 콘텐츠 시각화
- 가드레일에 추가된 대기 시간
- 대시보드의 이 영역에는 선택한 기술 및 날짜 범위에 대한 활성 불쾌한 콘텐츠 가드레일의 결과로 인한 평균 대기 시간이 표시됩니다.
그림 4. 불쾌한 콘텐츠에 대한 가드레일 추가 대기 시간 - 불쾌감을 주는 것으로 플래그가 지정된 비율
- 대시보드의 이 영역에는 불쾌한 콘텐츠로 플래그가 지정된 LLM(대규모 언어 모델) 서비스와의 요청 및 응답 비율이 표시됩니다.
그림 5. 불쾌감을 주는 것으로 플래그가 지정된 비율 - 불쾌한 콘텐츠 발생의 총 수
- 대시보드의 이 영역에는 선택한 기술 및 날짜 범위에 대한 불쾌한 콘텐츠 발생의 총 수가 표시됩니다.
그림 6. 불쾌한 콘텐츠 발생의 총 수 - 불쾌한 콘텐츠의 범주
- 대시보드의 이 영역에는 불쾌한 콘텐츠 발생의 범주별 세부 항목이 표시됩니다. 콘텐츠가 둘 이상의 범주(예: 유해하고 명예를 훼손하는 콘텐츠)에서 불쾌감을 주는 것으로 간주되는 경우, 발생은 두 범주에 개별적으로 계산됩니다. 불쾌감을 주는 콘텐츠 범주에 대한 자세한 내용은 다음 문서를 참조하십시오 .
그림 7. 불쾌한 콘텐츠의 범주 - 기술별 불쾌한 콘텐츠 발생 수
- 대시보드의 이 영역에는 콘텐츠가 탐지된 기술별로 시간 경과에 따른 불쾌한 콘텐츠 발생 수가 표시됩니다.
그림 8. 기술별 불쾌한 콘텐츠 발생
프롬프트 삽입 시각화
- 가드레일에 추가된 대기 시간
- 대시보드의 이 영역에는 선택한 기술 및 날짜 범위에 대한 활성 프롬프트 삽입 가드레일의 평균 대기 시간이 표시됩니다.
그림 9. 프롬프트 삽입을 위한 가드레일 추가 대기 시간 - 프롬프트 삽입으로 플래그된 비율
- 대시보드의 이 영역에는 불쾌한 콘텐츠로 플래그가 지정된 LLM 서비스와의 요청 및 응답의 백분율이 표시됩니다.
그림 10. 프롬프트 삽입으로 플래그가 지정된 백분율 - 총 프롬프트 삽입 발생
- 대시보드의 이 영역에는 선택한 기술 및 날짜 범위에 대한 불쾌한 콘텐츠 발생의 총 수가 표시됩니다.
그림 11. 프롬프트 삽입 발생의 총 수 - 기술별 프롬프트 삽입 발생 수
- 대시보드의 이 영역에는 프롬프트 삽입 시도가 탐지된 기술에 따라 시간 경과에 따른 프롬프트 삽입 발생 횟수가 표시됩니다.
그림 12. 기술별 프롬프트 삽입 발생 수