AI 모델 제공자 탐색
에서 AI 모델 제공자 섹션 AI 컨트롤 타워을 탐색합니다.
AI 모델 제공자를 사용하면 데이터 라우팅을 선택하고, 타사 LLM(대규모 언어 모델) 및 SLM(소규모 언어 모델)을 관리하며, 허용된 모델 제공자를 선택하여 외부 공급업체 LLM을 구성할 수 있습니다.
데이터 라우팅 및 모델 제공자
데이터 라우팅은 LLM 및 SLM 요청이 가장 적합한 데이터센터로 라우팅되는 기술입니다. 이 기술은 데이터 트래픽을 최적화하여 대기 시간을 줄이고 응답 시간을 단축하는 데 도움이 됩니다.
데이터 라우팅 및 모델 제공자 섹션을 사용하면 AI 모델 요청을 라우팅하고 허용된 모델 제공자를 선택할 수 있습니다.
데이터 라우팅에는 두 가지 유형이 있습니다.
- 지역 데이터 라우팅
-
지역 데이터 라우팅은 LLM 및 SLM 요청을 지역 내의 데이터 센터로 라우팅합니다. 예를 들어 APJC(아시아 태평양, 일본 및 중국) 지역에 있는 경우 이러한 요청은 APJC 지역에서 가장 적합한 데이터 센터로 라우팅될 수 있습니다. 지역 데이터 라우팅은 때때로 특정 지역의 정부에 의해 의무화될 수 있습니다.
- 전역 데이터 라우팅
- 전역 데이터 라우팅을 선택하면 LLM 및 SLM 요청이 전역적으로 가장 적합한 데이터센터로 라우팅됩니다.
지역 또는 전역 데이터 라우팅을 선택하고 모든 허용된 모델 제공자를 선택하여 편집 옵션을 사용하여 타사 LLM 제공자를 구성할 수 있습니다.
- ServiceNow에서 지원하는 AI 모델 제공자
- 조직에서 구성한 AI 모델 제공자
ServiceNow에서 지원하는 AI 모델 제공자에는 Now LLM Service, AWS Claude, Now LLM-LTS 모델 등과 같은 제공자가 포함됩니다.
Perplexity, IBM Watson 등 조직에서 구성한 AI 모델 제공자입니다.
AI 자산 수명주기Now LLM 서비스 LTS 모델에 대한 자세한 내용은 다음을 참조하십시오. 장기 안정 모델
모든 지역에 대해 타사 LLM을 구성하는 시나리오 탐색에 대한 자세한 내용은 다음을 참조하십시오. 외부 공급업체 LLM 및 지역 탐색
APJC 지역에 대한 데이터 라우팅 구성을 통해 타사 LLM을 구성하는 방법에 대한 자세한 내용은 다음을 참조하십시오. AI 컨트롤 타워를 사용하여 외부 공급업체 LLM 구성
폴백 및 스필오버
- 대체
- 활성화된 모델 제공자에서 지원하지 않는 활성 AI 시스템이 ServiceNow® 있는 경우 '대체 메커니즘'을 사용하면 이러한 시스템이 기본 제공자를 사용하여 계속 작동할 수 있습니다. 그러나 폴백을 활성화하지 않으려면 이러한 AI 시스템을 비활성화해야 합니다. 대체 제공자에 배포된 AI 시스템이 승인된 제공자 목록을 준수합니다.주:폴백은 기본적으로 활성화되어 있으며 수정할 수 있습니다.
- 스필오버
- AI 모델의 지역별 배포에는 용량이 제한되어 있으며, 이로 인해 요청 속도가 제한되고 성능에 영향을 미칠 수 있습니다. 스필오버를 사용하도록 설정하면 이러한 성능 문제를 방지할 수 있습니다. 에서는 ServiceNow®현재 Azure OpenAI만 이 전환을 수행합니다.
영향도 요약
영향도 요약은 선택한 허용된 모델 제공자와 폴백의 상태(활성 또는 비활성)에 따라 결정됩니다. 폴백은 영향 요약 데이터가 영향 요약 테이블에 나타나는 방식에 큰 영향을 미칩니다.
편집 옵션을 사용하여 예 또는 아니요를 선택하여 폴백을 활성화할 수 있습니다. 저장하기 전에 영향 미리 보기를 선택하여 모든 선택 항목을 검토하고 확인할 수 있습니다.
다음 두 가지 시나리오에 대한 영향 요약 테이블 데이터를 검토해 보겠습니다.
- 폴백 활성화 - 아니요
-
- 총 AI 시스템 - 허용된 모델 제공자가 지원하는 모든 AI 시스템을 표시합니다.
- 허용된 제공자가 지원하는 AI 시스템 - 제공자가 지원하는 기술 세트가 있는 AI 시스템을 보여줍니다.
- AI 시스템에는 비활성화가 필요함 - 제공자 지원이 부족하고 대체 옵션이 활성화되지 않아 비활성화해야 하는 모든 활성 AI 시스템을 나열합니다.
- AI 시스템을 활성화할 수 없음 - 현재 비활성 상태이며 제공자에서 지원하지 않는 모든 시스템을 표시합니다.
-
그림 3. 폴백 활성화 - 아니요 - 폴백 활성화 - 예
-
- 총 AI 시스템 - 허용된 모델 제공자가 지원하는 모든 AI 시스템을 표시합니다.
- 허용된 제공자가 지원하는 AI 시스템 - 제공자가 지원하는 기술 세트가 있는 모든 AI 시스템을 표시합니다.
- 대체 제공자가 지원하는 AI 시스템 - 대체 제공자가 허용되지 않는 것으로 미준수 AI 시스템을 표시합니다.
테이블에서 항목을 선택하면 선택한 항목과 함께 지원 매트릭스 페이지가 나타나 개인화된 목록을 업데이트할 수 있습니다.
지원 매트릭스는 각 AI 모델 제공자와 함께 모든 AI 시스템을 표 형식으로 제공합니다. 선택한 AI 모델 제공자뿐만 아니라 지원 매트릭스 테이블과 AI 시스템, 유형, 활성화 상태 등과 같은 범주를 볼 수 있습니다.
조직 또는 외부 공급업체 제공자가 지원하는 AI 제공자를 선택한 경우 선택한 제공자가 AI 시스템 및 모델 제공자 지원 테이블에 표시됩니다.
감사 로그
감사 로그에는 의 데이터, 승인 및 AI 모델 제공자 범주 AI 컨트롤 타워에 대한 구성 변경 내용이 표시됩니다. 감사 로그 보기 옵션을 선택하여 감사 로그를 볼 수 있습니다.
감사 로그 페이지에는 다음 범주로 구성된 모든 구성 변경 상세 정보가 표시됩니다.
- 타임스탬프
- 사용자
- 변경된 범주
- 변경된 설정
- 변경 후
- 변경 전
지난 90일부터 시작하는 날짜 범위를 선택하여 변경 내용을 필터링할 수도 있습니다.
멀티 인스턴스 설정에서 관리형(하위 프로덕션) 인스턴스가 특정 관리자(프로덕션) 인스턴스와 동기화하기 위해 AI 인벤토리 정보의 동기화 인스턴스에서 추가되거나 제거되면 감사 로그에는 먼저 제거되는 모든 인스턴스의 기록이 표시된 다음, 추가 또는 제거되는 인스턴스를 나타내는 별도의 기록이 표시됩니다.