Konfliktanalyse für mehrfache Modelle
Identifizieren Sie widersprüchliche Absichten innerhalb oder über Modelle hinweg, damit Sie Korrekturmaßnahmen ergreifen, solche Konflikte lösen und verbessern können NLUModellleistung.
Zusammenfassungsnutzung
Wenn die Anzahl der Absichten innerhalb eines Modells zunimmt, können sich zwei Absichten im Umfang überschneiden. Dies kann auftreten, wenn Trainingsäußerungen in einer Absicht fast identisch mit Äußerungen in einer anderen Absicht sind. Es kann auch in Konflikt stehende Absichten über Modelle und sogar Anwendungen hinweg geben.
Äußerungen können auch als markiert werden Nicht relevant , Bedeutet, dass keine Absicht vorhergesagt werden sollte. Wenn diese irrelevanten Äußerungen Äußerungen zu ähnlich sind, die einer Absicht zugewiesen sind, werden sie in der Konfliktprüfung angezeigt. Weitere Informationen finden Sie unter Erkennung von Irrelevanz in NLU.
Um diese Probleme zu beheben und zu beheben, führt die modellübergreifende Konfliktprüfung eine Analyse Ihrer Modelle durch. Verwenden Sie die Analyse, um diese Probleme vor der Modellveröffentlichung und -Bereitstellung zu identifizieren und zu beheben.
Installation
Die modellübergreifende Konfliktprüfung ist Teil der App „NLU Workbench – Erweiterte Funktionen“, die auf verfügbar ist ServiceNow® Store.
Um die modellübergreifende Konfliktprüfung zu verwenden, stellen Sie sicher, dass NLU-Workbench– Plugin „Erweiterte Funktionen“ (com.snc.nlu.workbench.advanced) ist in Ihrer Instanz aktiv. Weitere Informationen finden Sie unter Installieren NLU-Workbench: Erweiterte FunktionenUnd Aktivieren Sie die NLU-Workbench .
Rollen
Verwenden Sie die Rolle „nlu_admin“ oder „admin“, um auf die modellübergreifende Konfliktprüfung zuzugreifen. Wenn er einem Modell zugewiesen ist, kann der nlu_Editor Konflikte in diesem Modell lösen.
Analyse wird ausgeführt
Der Bildschirm „Konfliktüberprüfung“ zeigt eine Listenansicht aller in Ihrer Instanz erstellten Konfliktüberprüfungen an. Wenn eine Überprüfung abgeschlossen ist, wird sie einer laufenden Liste von Prüfungen hinzugefügt. In diesem Beispielszenario erstellen Sie die erste Überprüfung in Ihrer Instanz. Wenn sie abgeschlossen ist, wird sie in der Anzahl als 1 von 1 Prüfungen angezeigt. Wenn im Laufe der Zeit weitere Konflikte auftreten, werden mehrere Überprüfungen in der Liste angezeigt.
Konfliktprüfungen werden entweder für eine oder zwei analysiert NLUModelle. Wenn Sie eine Analyse für ein einzelnes Modell ausführen, zeigt das System Absichten und Äußerungen an, die sich nur in diesem Modell befinden. Wenn Sie eine Analyse für 2 Modelle ausführen, zeigt das System Absichten und Äußerungen an, die sich in beiden Modellen befinden.
Konfliktprüfungen werden immer für die zuletzt trainierte Version der von ihnen analysierten Modelle ausgeführt.
Konfliktprüfungen haben zwei Typen: Kritisch Und Mittel . Der Standardansatz besteht darin, mit den kritischen zu beginnen.
- Ignorieren Sie den Konflikt
- Löschen Sie eine identische oder fast identische Äußerung aus einer der Absichten
- Bearbeiten Sie die Äußerungen, um sie voneinander zu unterscheiden
In diesem Beispielszenario lösen Sie einen Konflikt, bei dem zwei verschiedene Absichten genau dieselbe Äußerung enthalten.
1. Navigieren Sie zu an.
2. Wählen Sie Aus Analyse ausführen .
3. In Modell(e) Feld auf Wählen Sie ein oder zwei Modelle aus, die auf Konflikte analysiert werden sollen Bildschirm, wählen Sie zwei aus NLUModelle für die Analyse. In diesem Beispielszenario wählen Sie aus Demo_Hardware_Problem Und Demo_it_Request Modelle.
4. Wählen Sie Aus Analyse Ausführen .
Der Bildschirm „Konfliktüberprüfung“ wird aktualisiert, um die Analyse anzuzeigen, einschließlich der beiden Modelle, die Sie für die Analyse ausgewählt haben, der Anzahl der kritischen und mittleren Konflikte, die überprüft werden, der Anzahl der abgeschlossenen Überprüfungen und des Ausführungsdatums für die Analyse. Wenn Sie auf die Spalte ganz rechts auf dem Bildschirm zeigen, sehen Sie Optionen zum erneuten Ausführen der Analyse oder zum Löschen und von vorne beginnen.
5. In Modell(e) Wählen Sie Ihre beiden gekoppelten Modelle aus, damit Sie einen Drilldown in die Überprüfung durchführen können.
Der Bildschirm wird aktualisiert, um die Details der Konfliktprüfung anzuzeigen. Notieren Sie sich die Zusammenfassung der beiden Modelle, die Sie für die Analyse ausgewählt haben, ihre neuesten Trainingsdaten, die Arten der Konflikte, die sie enthalten, und den Versionszeitstempel der Analyse. Beachten Sie auch 0 von 1 Anzahl, die angibt, dass dies die erste in dieser Instanz erstellte Konfliktüberprüfung ist. Wenn das System im Laufe der Zeit mehr Konflikte erkennt und diese Konflikte überprüft werden, erhöht sich die Anzahl.
Wenn Sie feststellen möchten, dass die Äußerungen im folgenden Bild in Ordnung sind, sollten Sie auf klicken Ignorieren . Wenn Sie auf „Ignorieren“ klicken, wird dem System mitgeteilt, dass Sie Ihre Überprüfung abgeschlossen haben. Daher wird sie als überprüft markiert und zur nächsten Konfliktüberprüfung übergegangen. In diesem Szenario ignorieren Sie den Konflikt jedoch nicht, da Absichten, die dieselbe Äußerung teilen, ein Konflikt sind, der überprüft werden sollte.
Um zu bestimmen, wie Sie diesen Konflikt lösen werden, berücksichtigen Sie die 2 Absichtsnamen und die identischen Äußerungen, die sie teilen. Überlegen Sie, welche Absicht wahrscheinlicher ist, dass verwendet wird Laptop ist sehr langsam Äußerung. Wenn Sie die beiden Absichtsnamen genau vergleichen, stellen Sie möglicherweise fest, dass ein Laptop, der sehr langsam ist, nicht mit einem Laptop identisch ist, der nicht funktioniert. Ein Laptop, der sehr langsam ist, ist jedoch tatsächlich ein Laptopproblem. In diesem Beispielszenario entscheiden Sie sich daher, tiefer in die Absichten einzugehen, um den Kontext ihrer anderen Äußerungen zu scannen.
Beachten Sie auch, dass, wenn eine Absicht eindeutige Äußerungen verwendet, dies dem System hilft, genauer vorherzusagen, welche Äußerungen zu ihr gehören. Daher müssen Sie die Äußerung aus einer der 2 Absichten bearbeiten oder löschen. In diesem Beispielszenario entscheiden Sie sich, sich mit zu befassen #Laptop_not_working Absicht.
6. Wählen Sie Aus Laptop_Not_Working .
Die #Laptop_not_working Der Absichtsbildschirm wird angezeigt, der die aktuellen 3 Äußerungen anzeigt. Sie treffen die Entscheidung, um zu löschen Laptop ist sehr langsam Äußerung von #Laptop_not_working Absicht.
7. Klicken Sie auf Löschen Sie diese Äußerung Papierkorb-Symbol.
Der Bildschirm „Löschen bestätigen“ wird angezeigt.
8. Wählen Sie Aus Löschen .
Der Bildschirm „Löschen bestätigen“ wird ausgeblendet, und die Anzahl der Äußerungen fällt von 3 auf 2, da Sie gelöscht haben Laptop ist sehr langsam Äußerung aus der Absicht.
9. Wählen Sie Aus Trainieren .
Auf dem Absichtsbildschirm wird ein Banner angezeigt, das bestätigt, dass das Modell erfolgreich trainiert wurde.
10. Wählen Sie Aus Konfliktüberprüfung Im Navigator.
Ergebnis:
Die Konfliktüberprüfung Der Listenbildschirm wird angezeigt, der anzeigt, dass Ihre Konfliktüberprüfungsanalyse abgeschlossen ist und dass sie überprüft wurde.