Zielmetriken für trainierte Klassifizierungslösung konfigurieren

Legen Sie für eine trainierte auf maschinellem Lernen gestützte Lösung Werte für Genauigkeit, Abdeckung und Rückrufstatistiken fest.

Metrikwerte für Klassifizierungen auf Klassen- oder Lösungsebene festlegen

Predictive Intelligence bietet drei Metriktypen für die Klassifizierung: Genauigkeit, Abdeckung und Rückruf. Sie konfigurieren diese Metriken auf der Registerkarte „Lösungsstatistiken“ des Formulars einer trainierten Klassifizierungslösung. Sie können zwar auf Klassenebene manuell Werte für diese Metriken festlegen, bei einer großen Anzahl von Klassen kann dies jedoch eine Herausforderung darstellen. In vielen Fällen kennen Sie den am besten geeigneten Wert möglicherweise erst, wenn die Lösung trainiert ist. Dieses Thema konzentriert sich auf das Festlegen der Metrikwerte nur auf Lösungsebene.

Lösungsmetriken konfigurieren

Wenn Sie einen Wert auf eine Metrik anwenden, werden die Werte der anderen beiden geändert. Dieses Verhalten ermöglicht es Ihnen, Metriken iterativ in Echtzeit zu ändern, um zu sehen, mit welchen Wertkombinationen sich bestimmte Ergebnisse ergeben. Wenn Sie einen neuen Wert auf eine Metrik anwenden, führt das System eine Neuberechnung unter Berücksichtigung der neuen Ziele durch.

Durch Anwendung eines Werts auf eine Metrik wird das System aufgefordert, seine Vorhersagen so zu trainieren, dass die von Ihnen festgelegte Metrik auf Grundlage des höchsten Prozentwerts gegenüber den anderen Metriken bevorzugt wird. Das System versucht, diese Werte einzuhalten. Aber aufgrund der Art und Weise, wie die von Ihnen trainierten Daten verteilt sind, kann es vorkommen, dass sie nicht genau wie von Ihnen gewünscht festgelegt werden.

Wenn Sie Metrikwerte auf Lösungsebene anwenden, legt das System automatisch die entsprechenden Werte auf Klassenebene fest.

Im Folgenden sind die grundlegenden Schritte zum Konfigurieren einer Zielmetrik für Ihre Lösung dargestellt.

1. Navigieren Sie zur Registerkarte „Lösungsstatistiken“ einer trainierten ML-Lösung.
2. Überprüfen Sie die Nachrichten auf den grünen Bannern im Bildschirm, die die einzelnen Metriken definieren, damit Sie die Werte, die Sie der Lösung zuweisen möchten, besser verstehen. Die ersten beiden Nachrichtenbanner beziehen sich auf geschätzte Metriken auf Lösungsebene. Das dritte Banner enthält Ergebnisse auf Klassenebene basierend auf den angewendeten Lösungswerten.
3. Wählen Sie in der Auswahlliste Zielmetrik die Metrik aus, die Sie konfigurieren möchten.
4. Geben Sie im Feld Zielmetrikwert einen numerischen Prozentwert zwischen 0-100 ein.
5. Klicken Sie auf Werte anwenden.
6. Ergebnis: Auf der Registerkarte „Lösungsstatistiken“ können Sie die Werteänderung für Geschätzte Lösungsgenauigkeit, Geschätzter Lösungsrückruf und Geschätzte Lösungsabdeckung überprüfen. Das System berechnet diese Werte basierend auf Ihren Eingaben für Zielmetrik und Zielmetrikwert für die Lösung.

Hier ist ein Beispiel einer Zielseite für eine vor kurzem trainierte Klassifizierungslösung. Wie Sie sehen können, weist die Genauigkeitsmetrik den Wert 44,18, die Rückrufmetrik den Wert 41,26 und die Abdeckungsmetrik den Wert 77,23 auf.

Wenn Sie diese Standardwerte für einen Anwendungsfall anpassen müssen, nehmen Sie Bezug auf die folgenden Beispielkonfigurationen. Je nach Klassifizierungslösung, die Sie implementieren, möchten Sie möglicherweise den Zielmetrikwert für Genauigkeit, Rückruf oder Abdeckung ändern. Beachten Sie, dass eine Änderung des Zielmetrikwerts für eine Metrik, z. B. Genauigkeit, sich auch die Werte der Rückruf- und der Abdeckungsmetrik auswirken.

Konfiguration der Genauigkeit – Beispiel

In diesem Beispielszenario ersetzen Sie einen manuellen Selektierungsprozess für die Weiterleitung von Incident-Datensätzen durch eine ML-Klassifizierungslösung, die die Datensätze automatisch der richtigen Zuweisungsgruppe zuweist. Für dieses Szenario haben Sie einen angestrebten Zielwert, und das System muss mindestens 80 % der Zeit richtig vorhersagen. Sie legen den Wert für die Genauigkeitsmetrik auf 80 fest und klicken auf Werte anwenden.

Hier sind die Metrikwerte, die das System auf die Lösung angewendet hat. In diesem Szenario hat der Genauigkeitswert von 80,04 Ihre Anforderung von 80 % geringfügig überschritten, sodass Sie wahrscheinlich mit diesem Wert zufrieden sind.

Konfiguration der Abdeckung – Beispiel

In einem anderen Beispielszenario, in dem Sie einen manuellen Selektierungsprozess für die Weiterleitung von Incident-Datensätzen ersetzen, besteht Ihr Mindestziel darin, mindestens 70 % der eingehenden Incidents im ersten Quartal des Jahres vorherzusagen. Sie legen den Wert für die Abdeckungsmetrik auf 70 fest und klicken auf Werte anwenden.

Im folgenden Screenshot sind die Metrikwerte dargestellt, die das System auf die Lösung angewendet hat. Der Wert für die Abdeckungsmetrik ist von 35,99 auf 55,98 gestiegen. Die Genauigkeitsmetrik ist jedoch von 80,18 auf 64,97 gesunken. Das kann daran liegen, dass Sie die Abdeckungsmetrik auf einen relativ hohen Wert von 70 festgelegt haben, oder vielleicht auch daran, wie die von Ihnen trainierten Daten verteilt sind.

Konfiguration des Rückrufs – Beispiel

In einem anderen Szenario kann die Klassifizierung, ob eine eingehende E-Mail Phishing ist oder nicht, ein wichtiger Anwendungsfall in einer sicherheitsbezogenen maschinellen Lernlösung sein. In dieser Situation ist es sehr wichtig, jeden Phishing-Versuch zu erkennen. Deshalb ist es in Ordnung, ab und zu eine E-Mail, bei der es sich nicht um Phishing handelt, als Phishing zu melden. Tatsächliche Phishings dürfen jedoch keinesfalls als „kein Phishing“ klassifiziert werden. In solchen Situationen muss die Rückrufmetrik einen hohen Wert aufweisen, was zu geringeren Prozentsätzen für Genauigkeit und Abdeckung führen kann. Hier können Sie die Rückrufmetrik auf 95 festlegen und auf Werte anwendenklicken.

Hier sind die Metrikwerte, die das System auf die Lösung angewendet hat. Der Wert der Rückrufmetrik ist von 54,87 auf 61,03 gestiegen. Die Genauigkeitsmetrik ist jedoch von 60,1 auf 55,44 gesunken. Das liegt wahrscheinlich daran, dass Sie die Rückrufmetrik auf den hohen Wert von 95 festgelegt haben.

Ergebnisse auf Klassenebene für die Lösungsmetrikwerte, die Sie auf die Lösung anwenden

Im folgenden Screenshot ist ein Beispiel für die Ergebnisse auf Klassenebene dargestellt, die das System auf die Genauigkeits-, Abdeckungs- und Rückrufstatistiken einer Lösung für 37 Klassen angewendet hat. Sie können die Metrikwerte solange ändern, bis Sie mit den Ergebnissen vollständig zufrieden sind.

Durch eine absteigende Sortierung in der Spalte „Geschätzte Genauigkeit“ können Sie sehen, welche Klassen die höchste Genauigkeit für die Lösung haben.