Now LLM Service Updates

Now LLM Service bietet Zugriff auf spezialisierte große Sprachmodelle (LLMs), die von ServiceNow entwickelt werden. Sie bietet auch Zugriff auf Open Source-LLMs, die von ServiceNow in der ServiceNow Community und bei Partnern ausgewählt, konfiguriert oder erweitert werden. Überprüfen Sie diese Referenzmaterialien und Modellkarten auf zusätzliche Informationen zum Now LLM Service und zu den verwendeten Modellen.

Modellkarten

Große Sprachmodelle (LLMs) sind komplexe Modelle für maschinelles Lernen, die für große Datensätze wie Websites und Dokumentationen trainiert werden, um sprachbezogene Aufgaben auszuführen, z. B. die Textgenerierung für Fallzusammenfassungen und Lösungsnotizen.

Modellkarten erläutern den Kontext, den Verwendungszweck, die Trainingsdaten, die Einschränkungen und andere wichtige Informationen des jeweiligen Modells.

Diese Modellkarten sind für Kompetenzen vorgesehen, die Now LLM Serviceverwenden. Es gibt bestimmte Kompetenzen, die stattdessen Azure OpenAI verwenden, z. B. Now Assist Multiturn-Katalogbestellung. Um zu sehen, welches LLM eine Kompetenz verwendet, können Sie die Kompetenzliste in der Konsole Now Assist-Administrator überprüfen und die Spalte „LLM-Service“ überprüfen.

Modellkarte für ServiceNow-Text-zu-Text-LLM

Modell, das für Konversationsanwendungsfälle wie Virtual Agent-Themenausführung und Konversationskatalog sowie Anwendungsfälle für Agent Assist wie Warnungsanalyse, KI-Suche sowie Incident-, Fall- und Chat-Zusammenfassung verwendet wird.

Modellkarte für ServiceNow Text-zu-Code-LLM

Für die Codegenerierung verwendetes Modell.

Modellkarte für ServiceNow Flow Next Best Action LLM

Für Flow-Empfehlungen verwendetes Modell.

Modellkarte für ServiceNow Text-zu-Flow-LLM

Für die Flow-Generierung verwendetes Modell.

Modellkarte für ServiceNow Text-zu-Text-SLM

Modell, das für Now Assist Guard, Text-zu-Verschlüsselung und andere Anwendungsfälle verwendet wird, die eine schnelle Rückschlussfolgerung und einen hohen Durchsatz erfordern.

Modellkarte für ServiceNow Großes Sprachmodell

Modell, das für KI-gesteuerte Lösungen zur Unterstützung des Verständnisses natürlicher Sprache, der Automatisierung und der Entscheidungsunterstützung verwendet wird.

Diese Modellkarte ist in Yokohama Patch 1 und höher verfügbar.

Modellkarte für ServiceNow Kleines Sprachmodell

Modell, das für KI-Anwendungen in Unternehmen durch Verbesserung der textbasierten Automatisierung und Inhaltsgenerierung in ServiceNow-Workflows verwendet wird.

Diese Modellkarte ist in Yokohama Patch 1 und höher verfügbar.

Modellkarte für ServiceNow Umfangreiches Sprachmodell einer Drittpartei

Modell, das für KI-gesteuerte Lösungen für Textgenerierung, Zusammenfassung und Konversations-KI verwendet wird.

Diese Modellkarte ist in Yokohama Patch 1 und höher verfügbar.

März 2025

Ein leistungsstarkes 12B-Allzweck-SLM-Modell (Small Language Model) zur Verbesserung einer Vielzahl von Anwendungen, einschließlich Text-zu-Code und Agent-Anwendungsfälle, wurde veröffentlicht. Optisch optimiert für Mistral-Nemo-12B, rationalisiert die Bereitstellung und fasst mehrere Funktionalitäten in einer einheitlichen Architektur zusammen.

Wichtige Erweiterungen:

• Optimiert für die Erfüllung von Anwendungsfällen: Verbessert die Fallzusammenfassung, Chatzusammenfassung, Lösungshinweise und Knowledge Base-Generierung in allen unterstützten Sprachen, einschließlich Verbesserungen in Japanisch.
• Überlegene Text-zu-Code- und Text-zu-Verschlüsselung-Leistung: Bietet bedeutende Fortschritte bei der Bearbeitung und Generierung von Glide-JavaScript und generischem JavaScript sowie eine verbesserte Genauigkeit bei der Generierung und Ausführung von Abfragen für strukturierte Datenbanken.
• Robuste Inhaltsmoderation und Sicherheit: Bietet stärkeren Schutz gegen gegnerische Aufforderungen, Jailbreaking-Versuche und die Generierung schädlicher Inhalte und sorgt mit der integrierten Inhaltsfilterung für eine sicherere Bereitstellung.
• Einheitliche Modellbereitstellung:integriert Aufgaben im Zusammenhang mit ServiceNow in einem einzigen Modell, wodurch die Systemkomplexität reduziert und gleichzeitig die Gesamtleistung verbessert wird.
• Verbesserte Einhaltung von Anweisungen: Bietet eine bessere Befolgung von Anweisungen und Konsistenz über verschiedene Stufen der Genauigkeit von Aufforderungen und Anweisungen hinweg als das aktuelle Text-zu-Text-NowLLM.

November 2024

Now LLM Service wurden mehrere wichtige Verbesserungen hinzugefügt, die die Leistung und Qualität verbessern sollen.

• Unterstützung mehrerer Sprachen: Now LLM Service unterstützt 8 zusätzliche Sprachen, sodass Teams auf der ganzen Welt das Modell in ihrer jeweiligen Muttersprache verwenden können.

  Unterstützte Sprachen: Englisch, Deutsch, Französisch, Japanisch, Niederländisch, Französisch-Kanadisch, Spanisch, Portugiesisch (Brasilien) und Italienisch.

• Unterstützung des JSON-Formats: Das Modell bietet jetzt Ausgaben im JSON-Format, was Entwicklern die Integration in verschiedene Anwendungen und die nahtlose Automatisierung von Workflows erleichtert.
  • Deterministische Antworten: Der JSON-Modus gewährleistet eine strukturierte, konsistente Ausgabe, was die Vorhersagbarkeit und Zuverlässigkeit bei der Integration in -Anwendungen verbessert.
  • Fehlerreduzierung: Im Gegensatz zum Freiform-Textmodus sind JSON-Antworten weniger anfällig für Formatfehler oder vereinzelte Zeichen, wodurch Integrationsprobleme minimiert werden.
  • Geringerer Tokenverbrauch: Die feste Struktur von JSON kann den Tokenverbrauch reduzieren, wodurch es effizienter und kosteneffektiver für Anwendungen mit hoher Antworthäufigkeit wird.
• Verbesserungen beim Befolgen von Anweisungen: Das Modell wurde optimiert, um Anweisungen genauer zu verstehen und zu befolgen. Dadurch kann das Modell präzisere und umsetzbarere Antworten liefern, sodass Benutzer die benötigten Informationen schneller und effizienter erhalten.