Konfliktanalyse für mehrfache Modelle
Identifizieren Sie widersprüchliche Absichten innerhalb oder über Modelle hinweg, damit Sie Korrekturmaßnahmen ergreifen, solche Konflikte lösen und verbessern können NLU Modellleistung.
Zusammenfassungsnutzung
Wenn die Anzahl der Absichten innerhalb eines Modells zunimmt, können sich zwei Absichten im Umfang überschneiden. Dies kann auftreten, wenn Trainingsäußerungen in einer Absicht fast identisch mit Äußerungen in einer anderen Absicht sind. Es kann auch in verschiedenen Modellen und sogar Anwendungen widersprüchliche Absichten geben.
Äußerungen können auch als markiert werden Nicht relevant , Bedeutet, dass keine Absicht vorhergesagt werden sollte. Wenn diese irrelevanten Äußerungen Äußerungen zu ähnlich sind, die einer Absicht zugewiesen sind, werden sie in der Konfliktprüfung angezeigt. Weitere Informationen finden Sie unter Erkennung von Irrelevanz in NLU.
Um diese Probleme zu beheben und zu beheben, führt die modellübergreifende Konfliktprüfung eine Analyse für Ihre Modelle aus. Verwenden Sie die Analyse, um diese Probleme vor der Modellveröffentlichung und -Bereitstellung zu identifizieren und zu beheben.
Installation
Die modellübergreifende Konfliktprüfung ist Teil der App „NLU Workbench – Erweiterte Funktionen“, die auf verfügbar ist ServiceNow® Store.
Um modellübergreifende Konfliktprüfung zu verwenden, stellen Sie sicher, dass NLU-Workbench Das Plugin „Erweiterte Funktionen“ (com.snc.nlu.workbench.advanced) ist in Ihrer Instanz aktiv. Weitere Informationen finden Sie unter Installieren NLU-Workbench: Erweiterte Funktionen Und Aktivieren Sie die NLU-Workbench .
Rollen
Um auf modellübergreifende Konfliktprüfung zuzugreifen, verwenden Sie die Rolle nlu_admin oder admin. Wenn er einem Modell zugewiesen ist, kann der nlu_Editor Konflikte in diesem Modell lösen.
Analyse wird ausgeführt
Der Bildschirm „Konfliktüberprüfung“ zeigt eine Listenansicht aller in Ihrer Instanz erstellten Konfliktüberprüfungen an. Wenn eine Überprüfung abgeschlossen ist, wird sie einer laufenden Liste von Prüfungen hinzugefügt. In diesem Beispielszenario erstellen Sie die erste Überprüfung in Ihrer Instanz. Wenn sie abgeschlossen ist, wird sie in der Anzahl als 1 von 1 Prüfungen angezeigt. Wenn im Laufe der Zeit weitere Konflikte auftreten, werden mehrere Überprüfungen in der Liste angezeigt.
Konfliktüberprüfungen werden entweder für eine oder zwei analysiert NLU Modelle. Wenn Sie eine Analyse für ein einzelnes Modell ausführen, zeigt das System Absichten und Äußerungen an, die sich nur in diesem Modell befinden. Wenn Sie eine Analyse für 2 Modelle ausführen, zeigt das System Absichten und Äußerungen an, die sich in beiden Modellen befinden.
Konfliktprüfungen werden immer für die zuletzt trainierte Version der von ihnen analysierten Modelle ausgeführt.
Konfliktüberprüfungen haben zwei Typen: Kritisch Und Mittel . Der Standardansatz besteht darin, mit den kritischen zu beginnen.
- Ignorieren Sie den Konflikt
- Löschen Sie eine identische oder fast identische Äußerung aus einer der Absichten
- Bearbeiten Sie die Äußerungen, um sie voneinander zu unterscheiden
In diesem Beispielszenario lösen Sie einen Konflikt, bei dem zwei verschiedene Absichten genau dieselbe Äußerung enthalten.
1. Navigieren Sie zu an.
2. Wählen Sie Aus Analyse ausführen .
3. In Modell(e) Feld auf der Wählen Sie ein oder zwei Modelle aus, die auf Konflikte analysiert werden sollen Wählen Sie zwei aus NLU Modelle für die Analyse. In diesem Beispielszenario wählen Sie aus Demo_Hardware_Problem Und Demo_it_Request Modelle.
4. Wählen Sie Aus Analyse Ausführen .
Der Bildschirm „Konfliktüberprüfung“ wird aktualisiert, um die Analyse anzuzeigen, einschließlich der beiden Modelle, die Sie für die Analyse ausgewählt haben, der Anzahl der kritischen und mittleren Konflikte, die überprüft werden, der Anzahl der abgeschlossenen Prüfungen und des Ausführungsdatums für die Analyse. Wenn Sie auf die Spalte ganz rechts auf dem Bildschirm zeigen, sehen Sie Optionen zum erneuten Ausführen der Analyse oder zum Löschen und von vorn beginnen.
5. In Modell(e) Wählen Sie Ihre beiden gekoppelten Modelle aus, damit Sie Detailinformationen zur Überprüfung anzeigen können.
Der Bildschirm wird aktualisiert, um die Details der Konfliktprüfung anzuzeigen. Notieren Sie sich die Zusammenfassung der beiden Modelle, die Sie für die Analyse ausgewählt haben, ihre letzten Trainingsdaten, die Arten der Konflikte, die sie enthalten, und den Versionszeitstempel der Analyse. Beachten Sie auch 0 von 1 Anzahl, die angibt, dass dies die erste in dieser Instanz erstellte Konfliktüberprüfung ist. Wenn das System im Laufe der Zeit mehr Konflikte erkennt und diese Konflikte überprüft werden, erhöht sich die Anzahl.
Wenn Sie feststellen möchten, dass die Äußerungen im folgenden Bild in Ordnung sind, sollten Sie auf klicken Ignorieren . Wenn Sie auf „Ignorieren“ klicken, wird dem System mitgeteilt, dass Sie Ihre Überprüfung abgeschlossen haben. Daher wird sie als überprüft markiert und mit der nächsten Konfliktprüfung fortgefahren. In diesem Szenario ignorieren Sie den Konflikt jedoch nicht, da Absichten, die dieselbe Äußerung teilen, ein Konflikt sind, der überprüft werden sollte.
Um zu bestimmen, wie Sie diesen Konflikt lösen, berücksichtigen Sie die 2 Absichtsnamen und die identischen Äußerungen, die sie teilen. Überlegen Sie, welche Absicht wahrscheinlicher ist, dass verwendet wird Laptop ist sehr langsam Äußerung. Wenn Sie die beiden Absichtsnamen genau vergleichen, stellen Sie möglicherweise fest, dass ein Laptop, der sehr langsam ist, nicht mit einem Laptop identisch ist, der nicht funktioniert. Ein Laptop, der sehr langsam ist, ist jedoch tatsächlich ein Laptopproblem. In diesem Beispielszenario entscheiden Sie sich daher, tiefer in die Absichten einzugehen, um den Kontext ihrer anderen Äußerungen zu scannen.
Beachten Sie auch, dass, wenn eine Absicht eindeutige Äußerungen verwendet, das System dabei hilft, genauer vorherzusagen, welche Äußerungen zu ihr gehören. Daher müssen Sie die Äußerung aus einer der 2 Absichten bearbeiten oder löschen. In diesem Beispielszenario entscheiden Sie sich, sich mit dem vertraut zu machen #Laptop_Not_working Absicht.
6. Wählen Sie Aus Laptop_Not_working .
Die #Laptop_Not_working Der Absichtsbildschirm wird angezeigt und zeigt die aktuellen 3 Äußerungen. Sie treffen die Entscheidung, den zu löschen Laptop ist sehr langsam Äußerung von #Laptop_Not_working Absicht.
7. Klicken Sie auf Löschen Sie diese Äußerung Papierkorb-Symbol.
Der Bildschirm Löschen bestätigen wird angezeigt.
8. Wählen Sie Aus Löschen .
Der Bildschirm Löschen bestätigen wird ausgeblendet, und die Anzahl der Äußerungen fällt von 3 auf 2, da Sie gelöscht haben Laptop ist sehr langsam Äußerung aus der Absicht.
9. Wählen Sie Aus Trainieren .
Auf dem Absichtsbildschirm wird ein Banner angezeigt, das bestätigt, dass das Modell erfolgreich trainiert wurde.
10. Wählen Sie Aus Konfliktprüfung Im Navigator.
Ergebnis:
Die Konfliktprüfung Der Listenbildschirm zeigt an, dass Ihre Konfliktüberprüfungsanalyse abgeschlossen ist und überprüft wurde.