Zu den vielen Vorteilen des wachsenden Bereichs der künstlichen Intelligenz gehört unter anderem die Fähigkeit, umfangreiche und komplexe Daten zu verstehen. Eine grundlegende Herausforderung bei der Verarbeitung realer Informationen besteht darin, Ähnlichkeiten zu erkennen. Computer beherrschen zwar präzise numerische Berechnungen, haben aber Schwierigkeiten, Ähnlichkeiten zwischen komplexen Objekten wie Bildern, Text oder Sprache zu berechnen. Einbettungen können dieses Problem lösen.
Einbettungen, ein wesentliches Konzept in den Bereichen Maschinelles Lernen (ML) und Natural Language Processing (NLP), sind spezielle Techniken, mit denen komplexe Daten in einfachere, verständlichere Formen umgewandelt werden. Informationen mit vielen Dimensionen, wie z. B. Texte oder Bilder, werden dabei in kompakte Zahlenvektoren umgewandelt – ein Prozess, der oft als Dimensionsreduktion bezeichnet wird. Diese Transformation hilft Modellen, die zugrunde liegenden Bedeutungen und Beziehungen innerhalb von Daten zu erfassen, die eine große Anzahl von Attributen enthalten – Daten, die andernfalls möglicherweise nicht interpretiert werden könnten.
Einfach ausgedrückt: Einbettungen spielen eine entscheidende Rolle beim maschinellen Lernen, weil sie komplexe Daten in vereinfachte, überschaubare Formen umwandeln. Das wiederum bringt mehrere Vorteile mit sich:
Die Reduzierung der Anzahl an Dimensionen vereinfacht große Datensätze, weil sie in weniger Dimensionen dargestellt werden. Einbettungen reduzieren die Anzahl der Dimensionen, ohne hierbei wichtige Informationen zu verlieren. Dadurch lassen sich die Daten besser handhaben, und die Effizienz der ML-Modelle wird verbessert.
Einbettungen erfassen die semantische Bedeutung von Daten und versetzen Modelle in die Lage, komplexe Beziehungen zu verstehen und zu interpretieren. Diese Fähigkeit verbessert NLP-Aufgaben (z. B. Stimmungsanalyse und maschinelle Übersetzung), weil das Modell subtile Sprachnuancen erfassen kann.
Large Language Models (LLMs) profitieren erheblich von Einbettungen. Einbettungen bieten eine Grundlage für diese Modelle, um menschlichen Text zu verstehen und zu generieren. Durch die Darstellung von Wörtern und Ausdrücken als Vektoren können LLMs (z. B. GPT-Modelle) sinnvolle, zusammenhängende und kontextrelevante Antworten erzeugen. Das verbessert die Genauigkeit und Relevanz von Anwendungen wie Chatbots und generativer KI (Gen AI).
Mit Einbettungen können Techniken wie t-SNE (t-distributed Stochastic Neighbor Embedding) aussagekräftige visuelle Darstellungen von Datenclustern und -beziehungen erstellen. Diese Visualisierungen helfen, Datenmuster zu verstehen, Anomalien zu erkennen und fundierte Geschäftsentscheidungen zu treffen.
So wie es viele verschiedene Arten komplexer Daten gibt, die Algorithmen für maschinelles Lernen verarbeiten müssen, um effektiv zu funktionieren, gibt es auch viele verschiedene Einbettungsmodelle, die jeweils einzigartige Möglichkeiten zur Darstellung dieser Daten bieten. Zu den häufigsten Einbettungsmodellen gehören:
Die Hauptkomponentenanalyse (Principal Component Analysis, PCA) ist eine statistische Methode zur Reduzierung der Anzahl an Dimensionen. Sie identifiziert die „Richtungen“ (auch als Hauptkomponenten bezeichnet), in denen die Daten am stärksten variieren, und projiziert die Daten auf diese Richtungen. Dadurch entstehen vereinfachte Vektoren, die zwar die wesentlichen Funktionen der ursprünglichen Daten erfassen, die Analyse jedoch erleichtern.
Word2vec wurde von Google entwickelt. Dieses Modell beruht auf einem neuronalen Netz und generiert Worteinbettungen. Es erfasst semantische Beziehungen zwischen Wörtern, indem es mit riesigen Textdatensätzen trainiert wird. Word2vec hat zwei Hauptvarianten: Continuous Bag of Words (CBOW) und skip-gram. CBOW prognostiziert ein Zielwort anhand von Kontext, während skip-gram den Kontext eines Zielworts vorhersagt. Beide Methoden erzeugen komplexe Vektordarstellungen, die die Bedeutungen und Beziehungen der Wörter widerspiegeln.
Singulärwertzerlegung (Singular Value Decomposition, SVD) ist eine Technik, die bei der Matrixfaktorisierung verwendet wird. Dabei handelt es sich um einen Prozess, der eine große Matrix (ein Zahlenarray, das zur Darstellung komplexer Daten verwendet wird) in einfachere Teile aufgliedert, die sich besser handhaben lassen. Die Matrixfaktorisierung ist nötig, um zugrunde liegende Muster und Beziehungen in den Daten zu erkennen. SVD zerlegt eine Matrix in drei weitere Matrizen und erfasst die wesentlichen Strukturen in den ursprünglichen Daten. Bei Textdaten wird SVD häufig für die latente semantische Analyse (LSA) verwendet, um versteckte semantische Strukturen zu finden. So kann das Modell die Ähnlichkeit zwischen Wörtern verstehen, auch wenn sie nicht häufig zusammen vorkommen.
Vektoren sind Listen von Zahlen, die Daten in einem Format darstellen, das Computer leicht verarbeiten können. Jede Zahl in einem Vektor entspricht einem bestimmten Attribut oder Merkmal der Daten. In einem ML-Modell kann ein Vektor beispielsweise ein Wort darstellen, indem er verschiedene Aspekte wie Häufigkeit, Kontext und semantische Bedeutung erfasst. Indem Einbettungen komplexe Daten in Vektoren umwandeln, steigt die Effektivität der Modelle beim Auffinden und Analysieren von Beziehungen innerhalb dieser Daten. Im Wesentlichen werden nicht-numerische Daten in numerische umgewandelt.
Bei Einbettungen sind Vektoren entscheidend, weil sie die Ähnlichkeits- und Mustererkennung ermöglichen. Wenn ein Modell Vektoren verarbeitet, erkennt es, welche Vektoren in mehrdimensionalen Bereichen nahe beieinander liegen. Diese Nähe deutet auf eine Ähnlichkeit hin, sodass das Modell ähnliche Elemente gruppieren kann. Mit einem ausreichenden Datensatz können ML-Algorithmen Datenbeziehungen mit vielen Dimensionen verstehen.
Einbettungen werden in der Regel erstellt, wenn ML-Modelle für bestimmte Aufgaben trainiert werden. Dazu gehört oft die Einrichtung eines überwachten Problems, das als „Modellproblem“ bezeichnet wird und bei dem das primäre Ziel darin besteht, ein Ergebnis vorherzusagen. Ein Modell kann beispielsweise das nächste wahrscheinliche Wort in einer Textfolge vorhersagen. Bei diesem Prozess lernt es, die Eingabedaten in Einbettungsvektoren zu codieren, die die zugrunde liegenden Muster und Beziehungen erfassen.
Bei der Erstellung von Einbettungen kommen oft neuronale Netze zum Einsatz. Diese Netzwerke bestehen aus mehreren Schichten – und eine der verborgenen Schichten ist dafür verantwortlich, die eingegebenen Merkmale in Vektoren umzuwandeln. Diese Umwandlung erfolgt, wenn das Netzwerk aus manuell vorbereiteten Mustern lernt. Techniker leiten diesen Prozess, indem sie neue Daten in das Netzwerk einspeisen, damit es mehr Muster erlernen und genauere Vorhersagen treffen kann. Im Laufe der Zeit werden die Einbettungen optimiert und arbeiten dann selbständig, sodass Modelle genaue Empfehlungen geben können, die ausschließlich auf den vektorisierten Daten basieren. Die Techniker überwachen und optimieren diese Einbettungen fortlaufend, um sicherzustellen, dass sie auch bei der Einführung zusätzlicher Daten effektiv bleiben.
Einbettungen sind vielseitig und können verschiedene Arten von Daten zur effizienten Verarbeitung in Vektoren für ML-Modelle verwandeln. Hier einige gängige Objekte, die eingebettet werden können:
- Wörter
Worteinbettungen konvertieren Text in numerische Vektoren und erfassen die semantischen Beziehungen zwischen Wörtern. Das ist entscheidend für Aufgaben wie Sprachübersetzung und Stimmungsanalyse. - Bilder
Bildeinbettungen verwandeln visuelle Daten in Vektoren, damit Modelle Muster und Funktionen in Bildern erkennen können. Das kommt in Anwendungen wie Gesichtserkennung und Objekterkennung zum Einsatz. - Audio
Audio-Einbettungen wandeln Schallwellen in Vektoren um, damit Modelle gesprochene Sprache, Musik und andere Audiosignale verstehen und verarbeiten können. Das ist für Aufgaben wie Spracherkennung und Audioklassifizierung wichtig. - Diagramme
Diagrammeinbettungen stellen Knotenpunkte und Linien in einem Diagramm als Vektoren dar und behalten dabei die strukturellen Informationen bei. Das hilft bei Aufgaben wie Linkvorhersage, Knotenklassifizierung und der Analyse sozialer Netzwerke.
Wie bereits erwähnt, bedeutet Einbettung in der Regel, dass Objekte wie Text, Bilder und Diagramme in Vektoren (also Zahlenarrays) umgewandelt werden. Mit diesen Vektoren können Modelle Ähnlichkeiten und Muster innerhalb der Daten erkennen.
In Empfehlungssystemen helfen Einbettungen, indem sie Anwender und Artikel als Vektoren in einem mehrdimensionalen Raum darstellen. Jedem Anwender und Artikel wird ein Einbettungsvektor zugewiesen, der anhand bisheriger Interaktionen erlernt wurde. Die Empfehlungspunktzahl für ein Anwender-Artikel-Paar wird anhand des Skalarprodukts ihrer Vektoren berechnet. Je höher die Punktzahl, desto wahrscheinlicher ist es, dass der Anwender an dem Artikel interessiert ist. Dieser Ansatz erfasst die Präferenzen der Anwender und die Merkmale der Artikel, sodass personalisierte Empfehlungen möglich werden.
Texteinbettungen funktionieren anders: Sie werden im Rahmen des LLM-Vortrainings erlernt. Während des Vortrainings werden diese Modelle großen Textmengen ausgesetzt, damit sie kontextbezogene Beziehungen zwischen Wörtern, Ausdrücken und Sätzen erkennen. Das Modell weist sämtlichen Wörtern und Ausdrücken einen eindeutigen Vektor zu, der darauf beruht, wie oft sie in Verbindung mit bestimmten anderen Wörtern und in verschiedenen Kontexten vorkommen. Auf diese Weise kann das Modell semantische Nuancen innerhalb des Texts erfassen, z. B. Synonyme oder Beziehungen. Das hilft dem Modell, menschliche Sprache zu verstehen, zu generieren und genau zu verarbeiten.
Einbettungen bedienen verschiedenste Anwendungsfälle im maschinellen Lernen und sind daher für eine Reihe von Aufgaben unverzichtbar. Hier einige nennenswerte Beispiele:
- Computer Vision
Einbettungen werden verwendet, um Bilder in numerische Vektoren umzuwandeln, die die wesentlichen Merkmale und Muster innerhalb der Bilder erfassen. Diese Umwandlung ermöglicht Aufgaben wie Bildklassifizierung oder Objekt- und Gesichtserkennung. - Empfehlungssysteme
Einbettungen helfen dabei, Anwender und Artikel (z. B. Filme oder Produkte) als Vektoren darzustellen. Diese Vektoren erfassen die latenten Merkmale, die die Anwenderpräferenzen und Artikeleigenschaften widerspiegeln. Durch den Vergleich der Ähnlichkeit zwischen Anwender- und Artikeleinbettungen können Empfehlungssysteme vorhersagen, an welchen Artikeln ein Anwender wahrscheinlich interessiert ist. - Semantische Suche
Die semantische Suche verwendet Einbettungen, um Suchergebnisse zu verbessern, indem sie den Kontext und die Bedeutung von Abfragen erfasst, anstatt sich nur auf einen Stichwortabgleich zu verlassen. Einbettungen wandeln sowohl Suchabfragen als auch Dokumente in Vektoren um, damit das Suchsystem Dokumente finden kann, die der Anwenderanfrage semantisch ähnlich sind. - Intelligente Dokumentenverarbeitung
Bei der intelligenten Dokumentenverarbeitung helfen Einbettungen dabei, Textdaten in Vektoren umzuwandeln, die Bedeutungen und Beziehungen innerhalb des Textes erfassen. Das ist nützlich für Aufgaben wie Dokumentklassifizierung, Stimmungsanalyse und Informationsextraktion. Mithilfe von Einbettungen können Modelle den Inhalt von Dokumenten besser verstehen und verarbeiten.
Einbettungen sind transformative Tools für maschinelles Lernen, mit denen Modelle komplexe Daten vereinfachen und verstehen können. Unternehmen können sich diese Fähigkeit zunutze machen – mit den hochentwickelten KI-Lösungen von ServiceNow.
ServiceNow bietet umfassende Funktionen zur Implementierung von Einbettungen in die Now Platform. Die KI-gestützten Anwendungen von ServiceNow können Tickets automatisch klassifizieren und weiterleiten, Probleme vorhersagen und personalisierte Empfehlungen bereitstellen – alles anhand von ausgeklügelten Einbettungsmodellen. Mit dieser Integration können Unternehmen aller Branchen das Potenzial ihrer Daten voll ausschöpfen.
Erfahren Sie, wie ServiceNow Ihre Datenverarbeitungsfunktionen mit dem richtigen Einbettungsansatz transformieren kann. Planen Sie noch heute eine Demo, und erfahren Sie aus erster Hand, wie KI Ihren Geschäftsbetrieb verbessern kann.