AI 모델 제공자

  • 릴리스 버전: Zurich
  • 업데이트 날짜 2025년 07월 31일
  • 소요 시간: 3분

    • AI 모델 제공자 섹션을 탐색하여 을 ServiceNow®통해 AI 컨트롤 타워활성화된 AI 모델의 가용성을 구성합니다.

    AI 모델 제공자를 사용하면 데이터 라우팅을 선택하고, 타사 LLM 및 SLM을 관리하고, 허용되는 모델 제공자를 선택하여 타사 LLM을 구성할 수 있습니다.

    데이터 라우팅 및 모델 제공자

    데이터 라우팅은 LLM 및 SLM 요청이 가장 적합한 데이터센터로 라우팅되는 기술입니다. 이 기술은 데이터 트래픽을 최적화하여 대기 시간을 줄이고 응답 시간을 단축하는 데 도움이 됩니다.

    데이터 라우팅 및 모델 제공자 섹션을 사용하면 AI 모델 요청을 라우팅하고 허용된 모델 제공자를 선택할 수 있습니다.

    데이터 라우팅에는 두 가지 유형이 있습니다.

    지역 데이터 라우팅

    지역 데이터 라우팅은 LLM 및 SLM 요청을 지역 내의 데이터 센터로 라우팅합니다. 예를 들어 APJC(아시아 태평양, 일본 및 중국) 지역에 있는 경우 이러한 요청은 APJC 지역에서 가장 적합한 데이터 센터로 라우팅될 수 있습니다. 지역 데이터 라우팅은 때때로 특정 지역의 정부에 의해 의무화될 수 있습니다.

    전역 데이터 라우팅
    전역 데이터 라우팅을 선택하면 LLM 및 SLM 요청이 전역적으로 가장 적합한 데이터센터로 라우팅됩니다.

    지역 또는 전역 데이터 라우팅을 선택하고 모든 허용된 모델 제공자를 선택하여 편집 옵션을 사용하여 타사 LLM 제공자를 구성할 수 있습니다.

    규제 시장 및 AMS & EMEA 지역에 대한 외부 공급업체 LLM 구성에 대한 자세한 내용은 다음을 참조하십시오. 외부 공급업체 LLM 및 데이터 라우팅 구성 탐색

    APJC 지역에 대한 데이터 라우팅 구성을 통해 타사 LLM을 구성하는 방법에 대한 자세한 내용은 다음을 참조하십시오. 를 사용하여 외부 공급업체 LLM 구성 AI 컨트롤 타워

    폴백 및 스필오버

    대체
    활성화된 모델 제공자에서 지원하지 않는 활성 AI 시스템이 ServiceNow® 있는 경우 '대체 메커니즘'을 사용하면 이러한 시스템이 기본 제공자를 사용하여 계속 작동할 수 있습니다. 그러나 폴백을 활성화하지 않으려면 이러한 AI 시스템을 비활성화해야 합니다. 대체 제공자에 배포된 AI 시스템은 승인된 제공자 목록을 준수합니다.
    주:
    폴백은 기본적으로 활성화되어 있으며 수정할 수 있습니다.
    파급 효과
    AI 모델의 지역별 배포에는 용량이 제한될 수 있으며, 이로 인해 요청 속도가 제한되고 성능에 영향을 미칠 수 있습니다. 스필오버를 사용하도록 설정하면 이러한 성능 문제를 방지할 수 있습니다. 에서는 ServiceNow®현재 Azure OpenAI만 이 전환을 수행합니다.
    주:
    스필오버 기능은 Azure OpenAI가 선택되면 활성화되거나 사용하도록 설정됩니다.

    영향도 요약

    영향도 요약은 선택한 허용 모델 제공자 및 대체 상태(활성 또는 비활성)에 따라 결정됩니다. 폴백은 영향 요약 데이터가 영향 요약 테이블에 표시되는 방식에 큰 영향을 줍니다.

    그림 1. AI 모델 제공자

    편집 옵션을 사용하여 폴백을 활성화하기 위해 예 또는 아니요를 선택할 수 있습니다. 저장하기 전에 영향 미리 보기를 선택하여 모든 선택 항목을 검토하고 확인할 수 있습니다.

    그림 2. 영향 미리 보기
    미리 보기 영향 이미지

    다음 두 가지 시나리오에 대한 영향 요약 테이블 데이터를 검토해 보겠습니다.

    대체 활성화- 아니요
    • 총 AI 시스템 - 허용된 모델 제공자가 지원하는 모든 AI 시스템을 표시합니다.
    • 허용된 제공자가 지원하는 AI 시스템 - 제공자가 지원하는 기술 세트가 있는 AI 시스템을 보여줍니다.
    • AI 시스템에는 비활성화가 필요함 - 제공자 지원이 부족하고 대체 옵션이 활성화되지 않아 비활성화해야 하는 모든 활성 AI 시스템을 나열합니다.
    • AI 시스템을 활성화할 수 없음 - 현재 비활성 상태이며 제공자에서 지원하지 않는 모든 시스템을 표시합니다.
    그림 3. 대체 활성화- 아니요
    대체 활성화- 예
    • 총 AI 시스템 - 허용된 모델 제공자가 지원하는 모든 AI 시스템을 표시합니다.
    • 허용된 제공자가 지원하는 AI 시스템 - 제공자가 지원하는 기술 세트가 있는 모든 AI 시스템을 표시합니다.
    • 대체 제공자가 지원하는 AI 시스템 - 대체 제공자가 허용되지 않는 것으로 미준수 AI 시스템을 표시합니다.
    그림 4. 대체 활성화- 예
    주:
    영향 요약 테이블의 항목은 폴백 상태에 따라 변경됩니다.

    테이블에서 항목을 선택하면 선택한 항목과 함께 지원 매트릭스 페이지가 나타나 개인화된 목록을 업데이트할 수 있습니다.

    지원 매트릭스에는 보유한 모든 AI 시스템과 이를 지원하는 모델 제공자가 표시됩니다.

    그림 5. 지원 매트릭스