Configurer les mesures cibles pour une solution de classification entraînée

Définissez des valeurs pour la précision, la couverture et les statistiques de rappel pour une solution d’apprentissage machine entraînée.

Définition des valeurs de mesures de classification au niveau de la classe ou de la solution

Intelligence prédictive fournit trois types de mesures de classification : précision, couverture et rappel. Vous configurez ces mesures sur l’onglet Statistiques de solution d’un formulaire de solution de classification formée. Bien que vous puissiez définir manuellement des valeurs pour ces mesures au niveau de la classe, cela peut être difficile si vous avez un grand nombre de classes à couvrir. Dans de nombreux cas, il se peut que vous ne connaissiez pas la meilleure valeur à définir tant que votre solution n’est pas formée. Dans cette rubrique, nous nous concentrons sur la définition des valeurs de mesure uniquement au niveau de la solution.

Configurer les mesures de la solution

Lorsque vous appliquez une valeur à une mesure, cela modifie les valeurs des deux autres. Ce comportement vous permet de modifier vos mesures de façon itérative, en temps réel, afin de déterminer quelles combinaisons de valeurs génèrent des résultats particuliers. Lorsque vous appliquez une nouvelle valeur à une mesure, le système la recalcule en tenant compte de ses nouvelles cibles.

L’application d’une valeur à une mesure demande au système d’entraîner ses prédictions afin de favoriser la mesure que vous définissez en fonction de la valeur de pourcentage la plus élevée, et ce qui a un coût pour les autres mesures. Le système tente de répondre à ces valeurs, mais il se peut qu’il ne les définisse pas exactement comme vous le demandez en raison de la façon dont les données que vous formez sont distribuées.

Lorsque vous appliquez des valeurs de mesure au niveau de la solution, le système définit automatiquement les valeurs appropriées au niveau de la classe.

Voici les étapes de base pour configurer une mesure cible pour votre solution.

1. Accédez à l’onglet Statistiques de la solution d’une solution ML formée.
2. Examinez les messages sur les bannières vertes de l’écran qui définissent chacune des mesures afin de mieux comprendre les valeurs que vous souhaitez affecter à la solution. Les deux premières bannières de message traitent des mesures estimées au niveau de la solution. La troisième bannière aborde les résultats au niveau de la classe en fonction des valeurs de solution que vous avez appliquées.
3. Dans la liste de choix Mesure cible , sélectionnez la mesure que vous souhaitez configurer.
4. Dans le champ Valeur de mesure cible , saisissez une valeur de centile numérique comprise entre 0 et 100.
5. Cliquez sur Appliquer les valeurs.
6. Résultat: Dans l’onglet Statistiques des solutions, vous pouvez examiner le changement de valeurs de la précision estimée de la solution, du rappel de solution estimé et de la couverture estimée de la solution. Le système calcule ces valeurs en fonction de la mesure cible que vous sélectionnez et de la valeur de mesure cible que vous saisissez pour la solution.

Voici un exemple de page de destination pour une solution de classification récemment formée. Comme vous pouvez le voir, la mesure de précision est de 44,18, le rappel est de 41,26 et la couverture est de 77,23.

Si vous devez ajuster ces valeurs par défaut pour un cas d’utilisation, reportez-vous aux exemples de configurations ci-dessous. Par exemple, en fonction de la solution de classification que vous implémentez, vous souhaiterez peut-être modifier la valeur de mesure cible pour la précision, le rappel ou la couverture. Gardez à l’esprit que lorsque vous modifiez la valeur de mesure cible d’une mesure, telle que la précision, cela a également un impact sur les valeurs des mesures de rappel et de couverture.

Exemple de configuration de la précision

Dans cet exemple de scénario, vous remplacez un processus de triage manuel pour l’acheminement des enregistrements d’incidents par une solution de classification ML qui affecte automatiquement les enregistrements au groupe d’affectation approprié. Pour ce scénario, vous avez une valeur cible à l’esprit et le système doit prédire correctement au moins 80 % du temps. Vous définissez donc la valeur de mesure de précision sur 80 et cliquez sur Appliquer les valeurs.

Voici les valeurs de mesures que le système a appliquées à la solution. Dans ce scénario, la valeur de précision de 80,04 a légèrement dépassé votre demande de 80 %, vous êtes donc probablement satisfait de cette valeur.

Exemple de configuration de couverture

Dans un autre exemple de scénario où vous remplacez un processus de triage manuel pour acheminer les enregistrements d’incidents, votre objectif minimum est de prédire au moins 70 % des incidents entrants au cours du premier trimestre de l’année. Vous définissez donc la valeur de la métrique de couverture sur 70 et cliquez sur Appliquer les valeurs.

Les valeurs de mesures que le système a appliquées à la solution sont affichées dans l’image suivante. La valeur métrique de la couverture est passée de 35,99 à 55,98. Cependant, la mesure de précision est passée de 80,18 à 64,97. Cela peut être dû au fait que vous avez défini la mesure de couverture sur une valeur relativement élevée de 70, ou peut-être à la façon dont les données que vous formez sont distribuées.

Exemple de configuration de rappel

Dans un autre scénario, classer si un e-mail entrant est un hameçonnage ou non peut être un cas d’utilisation important dans une solution d’apprentissage machine liée à la sécurité. Dans cette situation, il est très important d’identifier chaque hameçonnage, et il peut être acceptable de signaler occasionnellement un non-hameçonnage en tant qu’hameçonnage. Cependant, aucun véritable Phish ne doit être classé comme un non-Phish. Dans de telles situations, la mesure de rappel doit avoir une valeur élevée, ce qui peut entraîner des pourcentages inférieurs pour la précision et la couverture. Ici, vous pouvez donc définir la mesure de rappel sur 95 et cliquer sur Appliquer les valeurs.

Voici les valeurs de mesures que le système a appliquées à la solution. La valeur métrique du rappel est passée de 54,87 à 61,03. Cependant, la mesure de précision est passée de 60,1 à 55,44. Cela est probablement dû au fait que vous avez défini la mesure de rappel sur la valeur élevée de 95.

Résultats au niveau de la classe pour les valeurs de mesure de la solution que vous appliquez à votre solution

L’image suivante montre un exemple des résultats au niveau de la classe que le système a appliqués aux statistiques de précision, de couverture et de rappel d’une solution pour 37 classes. Vous pouvez continuer à modifier les valeurs de mesures jusqu’à ce que vous soyez entièrement satisfait des résultats.

En triant (z à a) dans la colonne Précision estimée, vous pouvez voir quelles classes ont la précision la plus élevée pour la solution.