Konfliktanalyse für mehrfache Modelle
Identifizieren Sie widersprüchliche Absichten innerhalb oder über Modelle hinweg, um Korrekturmaßnahmen zu ergreifen, solche Konflikte zu lösen und die Leistung des Modells NLU zu verbessern.
Zusammenfassungsnutzung
Wenn die Anzahl der Absichten in einem Modell zunimmt, können sich zwei Absichten im Umfang überschneiden. Dies kann auftreten, wenn Trainingsäußerungen in einer Absicht fast identisch mit Äußerungen in einer anderen Absicht sind. Es kann auch widersprüchliche Absichten zwischen Modellen und sogar Anwendungen geben.
Äußerungen können auch als Nicht relevantmarkiert werden, was bedeutet, dass keine Absicht vorhergesagt werden sollte. Wenn diese irrelevanten Äußerungen Äußerungen, die einer Absicht zugewiesen sind, zu ähnlich sind, werden sie in der Konfliktanalyse angezeigt. Weitere Informationen finden Sie unter Erkennung von Irrelevanz in NLU.
Um diese Probleme zu beheben und zu beheben, führt die modellübergreifende Konfliktanalyse eine Analyse Ihrer Modelle durch. Verwenden Sie die Analyse, um diese Probleme vor der Veröffentlichung und Bereitstellung des Modells zu identifizieren und zu beheben.
Installation
Die Konfliktanalyse für mehrfache Modelle ist Teil der App NLU-Workbench - Erweiterte Funktionen, die unter ServiceNow® Storeverfügbar ist.
Um die Konfliktanalyse für mehrfache Modelle zu verwenden, vergewissern Sie sich, dass das Plugin NLU-Workbench „ - Erweiterte Funktionen“ (com.snc.nlu.workbench.advanced) in Ihrer Instanz aktiv ist. Weitere Informationen finden Sie unter NLU-Workbench installieren – erweiterte Funktionen und NLU-Workbench aktivieren.
Rollen
Verwenden Sie für den Zugriff auf die Konfliktanalyse für mehrfache Modelle die Rolle nlu_admin oder admin. Bei der Zuweisung zu einem Modell kann der nlu_editor Konflikte in diesem Modell lösen.
Die Analyse wird ausgeführt
Der Bildschirm Konfliktanalyse zeigt eine Listenansicht aller in Ihrer Instanz erstellten Konfliktanalysen. Wenn eine Überprüfung abgeschlossen ist, wird sie einer laufenden Liste von Überprüfungen hinzugefügt. In diesem Beispielszenario erstellen Sie die erste Überprüfung in Ihrer Instanz. Wenn sie abgeschlossen ist, wird sie in der Anzahl als 1 von 1 Überprüfungen angezeigt. Wenn im Laufe der Zeit weitere Konflikte auftreten, werden in der Liste mehrere Überprüfungen angezeigt.
Konfliktanalysen werden entweder mit einem oder mit zwei NLU -Modellen analysiert. Wenn Sie eine Analyse für ein einzelnes Modell ausführen, zeigt das System Absichten und Äußerungen an, die nur in diesem Modell enthalten sind. Wenn Sie eine Analyse für 2 Modelle ausführen, zeigt das System Absichten und Äußerungen an, die in beiden Modellen enthalten sind.
Konfliktanalysen werden immer für die zuletzt trainierte Version der zu analysierenden Modelle ausgeführt.
Es gibt zwei Arten von Konfliktanalysen: Kritisch und Mittel. Standardmäßig wird mit den kritischen Elementen begonnen.
- Ignorieren Sie den Konflikt
- Löschen Sie eine identische oder fast identische Äußerung aus einer der Absichten
- Bearbeiten Sie die Äußerungen, um sie voneinander zu unterscheiden
In diesem Beispielszenario lösen Sie einen Konflikt, bei dem zwei verschiedene Absichten genau dieselbe Äußerung enthalten.
1. Navigieren Sie zu .
2. Wählen Sie Analyse ausführen aus.
3. Wählen Sie im Feld Modell(e) des Bildschirms Ein oder zwei Modelle zur Analyse auf Konflikte auswählen zwei NLU -Modelle für die Analyse aus. In diesem Beispielszenario wählen Sie die Modelle „ demo_hardware_issue“ und „demo_it_request“.
4. Wählen Sie Analyse ausführen aus.
Der Bildschirm „Konfliktanalyse“ wird aktualisiert und zeigt die Analyse einschließlich der beiden Modelle, die Sie für die Analyse ausgewählt haben, die Anzahl der zu überprüfenden Konflikte vom Typ „Kritisch“ und „Mittel“, die Anzahl der abgeschlossenen Überprüfungen und das Ausführungsdatum für die Analyse. Wenn Sie auf die Spalte ganz rechts im Bildschirm zeigen, werden Optionen angezeigt, um die Analyse erneut auszuführen oder sie zu löschen und von vorne zu beginnen.
5. Wählen Sie in der Spalte „Modell(e)“ Ihre beiden gekoppelten Modelle aus, damit Sie Detailinformationen in der Überprüfung anzeigen können.
Der Bildschirm wird aktualisiert, um die Details der Konfliktanalyse anzuzeigen. Beachten Sie die Zusammenfassung der beiden Modelle, die Sie für die Analyse ausgewählt haben, ihre letzten Trainingsdaten, die Arten von Konflikten und den Versionszeitstempel der Analyse. Beachten Sie auch die Anzahl 0 von 1, die anzeigt, dass dies die erste Konfliktanalyse ist, die in dieser Instanz erstellt wurde. Wenn das System im Laufe der Zeit weitere Konflikte erkennt und diese Konflikte überprüft werden, erhöht sich die Anzahl.
Wenn Sie feststellen, dass die Äußerungen in der Abbildung unten so gut wie möglich sind, klicken Sie auf Ignorieren. Wenn Sie auf „Ignorieren“ klicken, wird dem System mitgeteilt, dass Sie die Überprüfung abgeschlossen haben. Es markiert sie daher als überprüft und fährt mit der nächsten Konfliktanalyse fort. In diesem Szenario können Sie den Konflikt jedoch nicht ignorieren, da Absichten, die dieselbe Äußerung teilen, einen Konflikt darstellen, der überprüft werden sollte.
Um zu bestimmen, wie Sie diesen Konflikt lösen, berücksichtigen Sie die beiden Absichtsnamen und die identischen Äußerungen, die sie gemeinsam nutzen. Überlegen Sie, welche Absicht mit größerer Wahrscheinlichkeit die Äußerung „Laptop ist wirklich langsam “ verwendet. Wenn Sie die beiden Absichtsnamen genau vergleichen, stellen Sie möglicherweise fest, dass ein Laptop, der sehr langsam ist, nicht dasselbe ist wie ein Laptop, der nicht funktioniert. Ein wirklich langsamer Laptop ist jedoch tatsächlich ein Laptopproblem. In diesem Beispielszenario beschließen Sie, tiefer in die Absichten einzudringen, um den Kontext ihrer anderen Äußerungen zu scannen.
Beachten Sie auch, dass die Verwendung eindeutiger Äußerungen für eine Absicht dem System hilft, genauer vorherzusagen, welche Äußerungen dazu gehören. Daher müssen Sie die Äußerung in einer der beiden Absichten bearbeiten oder löschen. In diesem Beispielszenario entscheiden Sie sich, die Absicht #laptop_not_working zu untersuchen.
6. Wählen Sie „laptop_not_work“ aus.
Der Bildschirm „Absicht #laptop_not_work “ wird mit den aktuellen 3 Äußerungen angezeigt. Sie treffen die Entscheidung, die Äußerung „ Laptop ist wirklich langsam “ aus der Absicht #laptop_not_working zu löschen.
7. Klicken Sie auf das Papierkorbsymbol Diese Äußerung löschen.
Der Bildschirm „Löschen bestätigen“ wird angezeigt.
8. Wählen Sie Löschen aus.
Der Bildschirm „Löschen bestätigen“ wird ausgeblendet, und die Anzahl der Äußerungen sinkt von 3 auf 2, da Sie die Äußerung „ Laptop ist wirklich langsam “ aus der Absicht gelöscht haben.
9. Wählen Sie Trainierenaus.
Auf dem Bildschirm „Absicht“ wird ein Banner angezeigt, das bestätigt, dass das Modell erfolgreich trainiert wurde.
10. Wählen Sie im Navigator Konfliktanalyse aus.
Ergebnis:
Der Listenbildschirm Konfliktanalyse erscheint und zeigt an, dass Ihre Konfliktanalyse abgeschlossen ist und überprüft wurde.