KI-Modellanbieter

Erkunden Sie den Abschnitt KI-Modellanbieter, um die Verfügbarkeit von KI-Modellen zu konfigurieren, die über aktiviert wurden KI-Kontrollstelle S ServiceNow®.

Mit KI-Modellanbietern können Sie Datenweiterleitung auswählen, LLMS und SLMS von Drittparteien verwalten und LLMS von Drittparteien konfigurieren, indem Sie die zulässigen Modellanbieter auswählen.

Datenweiterleitung und Modellanbieter

Die Datenweiterleitung ist eine Technologie, mit der LLM- und SLM-Anforderungen an das am besten geeignete Rechenzentrum weitergeleitet werden. Diese Technologie hilft bei der Optimierung des Datenverkehrs, wodurch die Latenz reduziert und die Antwortzeiten beschleunigt werden.

Im Abschnitt „Datenweiterleitung und Modellanbieter“ können Sie KI-Modellanforderungen weiterleiten und die zulässigen Modellanbieter auswählen.

Es gibt zwei Arten der Datenweiterleitung:

Regionale Datenweiterleitung

Die regionale Datenweiterleitung leitet LLM- und SLM-Anforderungen an Rechenzentren in Ihrer Region weiter. Wenn Sie sich beispielsweise in der APJC-Region (Asien-Pazifik, Japan und China) befinden, können diese Anforderungen an das am besten geeignete Rechenzentrum in der APJC-Region weitergeleitet werden. Die regionale Datenweiterleitung kann manchmal von Regierungen bestimmter Regionen angeordnet werden.

Globale Datenweiterleitung

Wenn Sie sich für die globale Datenweiterleitung entscheiden, werden LLM- und SLM-Anforderungen an das am besten geeignete Rechenzentrum weltweit weitergeleitet.

Sie können die LLM-Drittanbieter mit der Bearbeitungsoption konfigurieren, indem Sie entweder regionale oder globale Datenweiterleitung auswählen und alle zulässigen Modellanbieter auswählen.

Informationen zum Konfigurieren von Drittpartei-LLMS für regulierte Märkte und AMS- und EMEA-Regionen finden Sie unter Erkunden Sie die Konfiguration von Drittanbieter-LLMS und Datenweiterleitung

Informationen zum Konfigurieren von Drittanbieter-LLMS über die Datenweiterleitungskonfiguration für die APJC-Region finden Sie unter Konfigurieren Sie Drittpartei-LLMS mit KI-Kontrollstelle

Fallback und Spillover

Fallback

Wenn Sie aktive KI-Systeme in haben ServiceNow® Die von Ihren aktivierten Modellanbietern nicht unterstützt werden, ermöglicht der „Fallback-Mechanismus“ diesen Systemen die Fortsetzung des Betriebs mit ihren Standardanbietern. Wenn Sie jedoch den Fallback nicht aktivieren möchten, müssen diese KI-Systeme deaktiviert werden. KI-Systeme, die auf Fallback-Anbietern bereitgestellt werden, entsprechen der Liste der genehmigten Anbieter.

Hinweis:

Der Fallback ist standardmäßig aktiviert und kann geändert werden.

Spillover

Bei regionalen Bereitstellungen von KI-Modellen kann die Kapazität eingeschränkt sein, was zu einer Begrenzung der Anforderungsrate und Auswirkungen auf die Leistung führen kann. Durch Aktivieren von Spillover können diese Leistungsprobleme vermieden werden. In ServiceNow®, Führt derzeit nur Azure OpenAI diesen Wechsel durch.

Hinweis:

Die Spillover-Funktion wird aktiv oder aktiviert, wenn Azure OpenAI ausgewählt wird.

Impact-Zusammenfassung

Die Auswirkungszusammenfassung wird durch die ausgewählten zulässigen Modellanbieter und den Status des Fallbacks bestimmt, der entweder aktiv oder inaktiv ist. Der Fallback wirkt sich erheblich darauf aus, wie die Auswirkungszusammenfassungsdaten in der Auswirkungszusammenfassungstabelle angezeigt werden.

Abbildung : 1. KI-Modellanbieter

Mit der Bearbeitungsoption können Sie Ja oder Nein auswählen, um den Fallback zu aktivieren. Vor dem Speichern können Sie Vorschau der Auswirkung auswählen, um Ihre Auswahl zu überprüfen und zu bestätigen.

Abbildung : 2. Vorschau Der Auswirkung Anzeigen

Sehen wir uns die Tabellendaten der Auswirkungszusammenfassung für die folgenden beiden Szenarien an.

Fallback Aktivieren: Nein

• KI-Systeme insgesamt: Zeigt alle KI-Systeme an, die von den zulässigen Modellanbietern unterstützt werden.
• Von zulässigen Anbietern unterstützte KI-Systeme: Zeigt KI-Systeme mit Kompetenzsätzen an, die von den Anbietern unterstützt werden.
• KI-Systeme erfordern Deaktivierung: Listet alle aktiven KI-Systeme auf, die keine Anbieterunterstützung haben, und muss deaktiviert werden, da die Fallback-Option nicht aktiviert ist.
• KI-Systeme können nicht aktiviert werden: Zeigt alle Systeme an, die derzeit inaktiv sind und von keinem Anbieter unterstützt werden.

Abbildung : 3. Fallback Aktivieren: Nein

Fallback Aktivieren: Ja

• KI-Systeme insgesamt: Zeigt alle KI-Systeme an, die von den zulässigen Modellanbietern unterstützt werden.
• Von zulässigen Anbietern unterstützte KI-Systeme: Zeigt alle KI-Systeme mit Kompetenzsätzen an, die von den Anbietern unterstützt werden.
• Von Fallback-Anbietern unterstützte KI-Systeme: Zeigt KI-Systeme an, die nicht konform sind, da Fallback-Anbieter keine zulässigen Anbieter sind.

Abbildung : 4. Fallback Aktivieren: Ja

Hinweis:

Die Einträge in der Auswirkungszusammenfassungstabelle ändern sich basierend auf dem Fallback-Status.

Wenn Sie einen Eintrag aus der Tabelle auswählen, wird die Support-Matrixseite mit den ausgewählten Einträgen angezeigt, sodass Sie Ihre personalisierte Liste aktualisieren können.

Die Support-Matrix zeigt alle KI-Systeme an, die Sie haben, und die Modellanbieter, die sie unterstützen sollen.

Abbildung : 5. Support-Matrix