AI モデルプロバイダー
[AI モデルプロバイダー] セクションを探索して、 AI コントロールタワー の ServiceNow®で有効にされる AI モデルの可用性を構成します。
AI モデルプロバイダーを使用すると、許可されたモデルプロバイダーを選択して、データルーティングを選択し、サードパーティの LLM と SLM を管理し、サードパーティの LLM を構成できます。
データルーティングとモデルプロバイダー
データルーティングは、LLM および SLM 要求を最適なデータセンターにルーティングするためのテクノロジーです。このテクノロジーは、データトラフィックの最適化に役立ち、レイテンシーを短縮し、応答時間を短縮します。
[データルーティングとモデルプロバイダー] セクションでは、AI モデル要求をルーティングし、[許可されたモデルプロバイダー] を選択できます。
データルーティングには、次の 2 つのタイプがあります。
- 地域データルーティング
-
リージョンデータルーティングは、リージョン内のデータセンターに LLM および SLM 要求をルーティングします。たとえば、APJC (アジア太平洋、日本、中国) 地域にいる場合、これらの要求は APJC リージョンの最適なデータセンターにルーティングできます。地域データルーティングは、特定の地域の政府によって義務付けられる場合があります。
- グローバルデータルーティング
- グローバルデータルーティングを選択すると、LLM および SLM 要求は、グローバルに最も適したデータセンターにルーティングされます。
編集オプションを使用して、リージョンまたはグローバルデータルーティングを選択し、許可されたすべてのモデルプロバイダーを選択して、サードパーティの LLM プロバイダーを構成できます。
規制された市場および AMS および EMEA 地域のサードパーティ LLM の構成については、次を参照してください。 サードパーティ LLM とデータルーティング構成の詳細
APJC リージョンのデータルーティング構成を使用したサードパーティ LLM の構成については、次を参照してください。 を使用したサードパーティ LLM の構成 AI コントロールタワー
フォールバックとスピルオーバー
- フォールバック
- 有効なモデルプロバイダーでサポートされていないアクティブな AI システムが ServiceNow® にある場合、「フォールバックメカニズム」により、これらのシステムはデフォルトのプロバイダーで引き続き動作できます。ただし、フォールバックを有効にしない場合は、これらの AI システムを非アクティブ化する必要があります。フォールバックプロバイダーに展開された AI システムは、承認されたプロバイダーのリストに準拠しています。注:フォールバックはデフォルトで有効になっており、変更できます。
- 波及
- AI モデルのリージョン展開では、キャパシティが制限され、要求レート制限が発生し、パフォーマンスに影響を与える可能性があります。スピルオーバーを有効にすると、これらのパフォーマンスの問題を防ぐのに役立ちます。ServiceNow® では、Azure OpenAI のみが現在この切り替えを行います。
影響のサマリー
影響のサマリーは、選択した許可されたモデルプロバイダーとフォールバックのステータス (アクティブまたは非アクティブ) によって決まります。フォールバックは、影響のサマリーテーブルでの影響のサマリーデータの表示方法に大きく影響します。
編集オプションを使用して、フォールバックをアクティブ化するための [はい] または [いいえ] を選択できます。保存する前に、[影響度をプレビュー] を選択して、すべての選択内容を確認および確定できます。
次の 2 つのシナリオの影響サマリーテーブルデータを確認しましょう。
- フォールバックのアクティブ化:いいえ
-
- 合計 AI システム:許可されたモデルプロバイダーによってサポートされているすべての AI システムを表示します。
- 許可されたプロバイダーでサポートされている AI システム:プロバイダーがサポートするスキルセットを持つ AI システムを表示します。
- AI システムの非アクティブ化が必要:プロバイダーのサポートがなく、フォールバックオプションが有効になっていないために非アクティブ化する必要があるすべてのアクティブな AI システムをリストします。
- AI システムをアクティブ化できません:現在非アクティブで、どのプロバイダーでもサポートされていないすべてのシステムを表示します。
-
図 : 3. フォールバックのアクティブ化:いいえ - フォールバックをアクティブにする - はい
-
- 合計 AI システム:許可されたモデルプロバイダーによってサポートされているすべての AI システムを表示します。
- 許可されたプロバイダーでサポートされている AI システム:プロバイダーがサポートするスキルセットを持つすべての AI システムを表示します。
- フォールバックプロバイダーでサポートされている AI システム:フォールバックプロバイダーは許可されていないプロバイダーであるため、準拠していない AI システムを表示します。
テーブルからエントリを選択すると、選択したエントリを含む [サポートマトリクス] ページが表示され、カスタマイズされたリストを更新できます。
サポートマトリクスには、保有しているすべての AI システムと、それらをサポートするモデルプロバイダーが表示されます。