Configuration des mesures cibles pour une solution de classification formée

  • Rversion finale: Yokohama
  • Mis à jour 30 janv. 2025
  • 5 minutes de lecture

    • Définissez des valeurs de précision, de couverture et de statistiques de rappel pour une solution d’apprentissage machine formée.

    Définition des valeurs de mesure de classification au niveau de la classe ou de la solution

    Intelligence prédictive Fournit trois types de mesures de classification : Précision, Couverture et Rappel. Vous configurez ces mesures dans l’onglet Statistiques de solution d’un formulaire de solution de classification formée. Bien que vous puissiez définir manuellement des valeurs pour ces mesures au niveau de la classe, cela peut s’avérer difficile si vous avez un grand nombre de classes à couvrir. Dans de nombreux cas, vous ne connaissez peut-être pas la meilleure valeur à définir tant que votre solution n’est pas formée. Cette rubrique se concentre sur la définition des valeurs de mesure uniquement au niveau de la solution.

    Configuration des mesures de la solution

    Lorsque vous appliquez une valeur à une mesure, elle modifie les valeurs des deux autres. Ce comportement vous permet de modifier vos mesures de façon itérative en temps réel pour voir quelles combinaisons de valeurs donnent des résultats particuliers. Lorsque vous appliquez une nouvelle valeur à une mesure, le système la recalcule en tenant compte de ses nouvelles cibles.

    L’application d’une valeur à une mesure demande au système d’entraîner ses prédictions pour favoriser la mesure que vous définissez en fonction de la valeur de pourcentage la plus élevée et au détriment des autres mesures. Le système essaie de respecter ces valeurs, mais peut ne pas les définir exactement comme vous le demandez en raison de la façon dont les données que vous formez sont distribuées.

    Lorsque vous appliquez des valeurs de mesures au niveau de la solution, le système définit automatiquement les valeurs appropriées au niveau de la classe.

    Voici les étapes de base pour configurer une mesure cible pour votre solution.
    1. Accédez à l’onglet Statistiques de la solution d’une solution ML formée.
    2. Passez en revue les messages sur les bannières vertes de l’écran qui définissent chacune des mesures afin de mieux comprendre les valeurs que vous souhaitez affecter à la solution. Les deux premières bannières de message traitent des mesures estimées au niveau de la solution. La troisième bannière traite les résultats au niveau des classes en fonction des valeurs de solution que vous avez appliquées.
    3. Dans la liste de choix Mesure cible , sélectionnez la mesure que vous souhaitez configurer.
    4. Dans le champ Valeur de mesure cible , saisissez une valeur centile numérique comprise entre 0 et 100.
    5. Cliquez sur Appliquer les valeurs.
    6. Résultat: Dans l’onglet Statistiques des solutions, vous pouvez passer en revue l’évolution des valeurs des valeurs Précision estimée de la solution, Rappel estimé de solution et Couverture estimée de la solution. Le système calcule ces valeurs en fonction de la mesure cible que vous sélectionnez et de la valeur de mesure cible que vous saisissez pour la solution.

    Voici un exemple de page de destination pour une solution de classification récemment formée. Comme vous pouvez le voir, la mesure de précision est de 44,18, le rappel est de 41,26 et la couverture est de 77,23.

    Cet exemple d’image montre les valeurs estimées définies pour les mesures de précision de la solution, de rappel et de couverture.

    Si vous devez ajuster ces valeurs par défaut pour un cas d’utilisation, consultez les exemples de configuration ci-dessous. Par exemple, en fonction de la solution de classification que vous implémentez, vous souhaiterez peut-être modifier la valeur de mesure cible pour des raisons de précision, de rappel ou de couverture. Gardez à l’esprit que lorsque vous modifiez la valeur de mesure cible pour une mesure, telle que la précision, cela a également un impact sur les valeurs des mesures de rappel et de couverture.

    Exemple de configuration de précision

    Dans cet exemple de scénario, vous remplacez un processus de triage manuel pour l’acheminement des enregistrements d’incidents par une solution de classification ML qui affecte automatiquement les enregistrements au groupe d’affectation correct. Pour ce scénario, vous avez une valeur cible en tête et le système doit prédire correctement au moins 80 % du temps. Vous définissez donc la valeur de la mesure de précision sur 80 et cliquez sur Appliquer les valeurs.

    Cette image vous montre comment définir la mesure Précision sur 80 %.

    Voici les valeurs de mesures que le système a appliquées à la solution. Dans ce scénario, la valeur de précision de 80,04 a légèrement dépassé votre demande de 80 %, vous êtes donc probablement satisfait de cette valeur.

    Cette image vous montre les valeurs de précision, de rappel et de couverture estimées que le système a attribuées à la solution en fonction de votre valeur d’entrée Précision de 80 %.

    Exemple de configuration de couverture

    Dans un autre exemple de scénario où vous remplacez un processus de triage manuel pour acheminer les enregistrements d’incidents, votre objectif minimal est de prédire au moins 70 % des incidents entrants au cours du premier trimestre de l’année. Vous définissez donc la valeur de la mesure de couverture sur 70 et cliquez sur Appliquer les valeurs.

    Comment définir la mesure Couverture sur 70 %.

    Les valeurs de mesures que le système a appliquées à la solution sont affichées dans l’image suivante. La valeur de la mesure de couverture est passée de 35,99 à 55,98. Cependant, la mesure de précision est passée de 80,18 à 64,97. Cela peut être dû au fait que vous avez défini la métrique de couverture sur une valeur relativement élevée de 70, ou peut-être à la façon dont les données que vous formez sont distribuées.

    Valeurs de précision, de rappel et de couverture estimées que le système a attribuées à la solution en fonction de la valeur d’entrée Couverture de 70 %.

    Exemple de configuration de rappel

    Dans un autre scénario, classer si un e-mail entrant est un hameçonnage ou non peut être un cas d’utilisation important dans une solution d’apprentissage automatique liée à la sécurité. Dans cette situation, il est très important d’identifier chaque Phish, et il peut être acceptable de signaler occasionnellement un non-Phish comme Phish. Cependant, aucun véritable Phish ne doit être classé comme un non-Phish. Dans de telles situations, la mesure de rappel doit avoir une valeur élevée, ce qui peut entraîner des pourcentages plus faibles pour la précision et la couverture. Vous pouvez donc définir la mesure de rappel sur 95 et cliquer sur Appliquer les valeurs.

    Cette image vous montre comment définir la mesure de rappel sur 95 %.

    Voici les valeurs de mesures que le système a appliquées à la solution. La valeur métrique du rappel est passée de 54,87 à 61,03. Cependant, la mesure de précision est passée de 60,1 à 55,44. Cela est probablement dû au fait que vous avez défini la mesure de rappel sur la valeur élevée de 95.

    Valeurs de précision, de rappel et de couverture estimées que le système a attribuées à la solution en fonction de votre valeur d’entrée de rappel de 95 %.

    Résultats au niveau de la classe pour les valeurs de mesure de solution que vous appliquez à votre solution

    L’image suivante illustre les résultats au niveau des classes que le système a appliqués à la précision, à la couverture et aux statistiques de rappel d’une solution pour 37 classes. Vous pouvez continuer à modifier les valeurs de mesure jusqu’à ce que vous soyez entièrement satisfait des résultats.

    En triant (z à a) dans la colonne Précision estimée, vous pouvez voir quelles classes ont la plus grande précision pour la solution.

    Résultats au niveau de la classe que le système a appliqués à la précision, à la couverture et aux statistiques de rappel d’une solution pour 37 classes.