Configurar métricas de destino para uma solução de classificação treinada
Defina valores para precisão, cobertura e estatísticas de cancelamento para uma solução de aprendizado de máquina treinada.
Definir valores de métrica de classificação no nível de classe ou solução
Inteligência preditiva fornece três tipos de métrica de classificação: precisão, cobertura e recall. Você configura essas métricas na guia Estatísticas da solução de um formulário de solução de classificação treinado. Embora você possa definir manualmente valores para essas métricas no nível de classe, fazer isso pode ser desafiador se você tiver um grande número de classes para cobrir. Em muitos casos, você pode não saber o melhor valor a ser definido até que sua solução seja treinada. Este tópico se concentra na definição dos valores de métrica apenas no nível da solução.
Configurar métricas de solução
Quando você aplica um valor a uma métrica, ele muda os valores das outras duas. Este comportamento permite modificar suas métricas iterativamente em tempo real para ver quais combinações de valores renderizam resultados específicos. Quando você aplica um novo valor a uma métrica, o sistema o recalcula considerando seus novos destinos.
Aplicar um valor a uma métrica solicita que o sistema treine suas previsões para favorecer a métrica definida com base no valor percentual mais alto e a um custo para as outras métricas. O sistema tenta atender a esses valores, mas pode não defini-los exatamente como você solicita devido à forma como os dados que você está treinando são distribuídos.
Quando você aplica valores de métrica no nível da solução, o sistema define automaticamente os valores apropriados no nível da classe.
- Navegue até a guia Estatísticas da solução de uma solução DE ML treinada.
- Revise as mensagens nas faixas verdes da tela que definem cada uma das métricas para que você possa entender melhor os valores que deseja atribuir à solução. As duas primeiras faixas de mensagem abordam as métricas estimadas no nível de solução. A terceira faixa aborda os resultados no nível de classe com base nos valores de solução que você aplicou.
- Em Métrica de destino lista de seleção, selecione a métrica que você deseja configurar.
- Em Valor da métrica de destino insira um valor de percentil numérico entre 0 e 100.
- Clique em Aplicar valores .
- Resultado: Na guia Estatísticas de soluções, você pode revisar a mudança nos valores do Precisão estimada da solução , Recall estimado da solução e Cobertura estimada da solução . O sistema calcula esses valores com base em Métrica de destino você seleciona e Valor da métrica de destino você insere para a solução.
Esta é uma página principal de amostra de uma solução de classificação treinada recentemente. Como você pode ver, a métrica de precisão é 44,18, o cancelamento é 41,26 e a cobertura é 77,23.
Se você precisar ajustar esses valores padrão para um caso de uso, consulte as configurações de amostra abaixo. Por exemplo, com base na solução de classificação que você está implementando, convém mudar o valor da métrica de destino para precisão, cancelamento ou cobertura. Lembre-se de que, quando você altera o valor da métrica de destino para uma métrica, como precisão, isso também afeta os valores das métricas de cancelamento e cobertura.
Exemplo de configuração de precisão
Neste cenário de exemplo, você está substituindo um processo de triagem manual para rotear registros de incidentes por uma solução de classificação DE ML que atribui automaticamente os registros ao grupo de atribuição correto. Para este cenário, você tem um valor de meta em mente e o sistema deve prever corretamente pelo menos 80% do tempo. Você define o valor da métrica de precisão como 80 e clique em Aplicar valores .
Estes são os valores de métrica que o sistema aplicou à solução. Nesse cenário, o valor de precisão de 80,04 excedeu ligeiramente sua solicitação para 80%, portanto, você provavelmente está satisfeito com esse valor.
Exemplo de configuração de cobertura
Em outro cenário de exemplo em que você está substituindo um processo de triagem manual para rotear registros de incidentes, seu objetivo mínimo é prever pelo menos 70% dos incidentes de entrada no primeiro trimestre do ano. Você define o valor da métrica de cobertura como 70 e clique em Aplicar valores .
Os valores de métrica que o sistema aplicou à solução são mostrados na imagem a seguir. O valor da métrica de cobertura aumentou de 35,99 para 55,98. No entanto, a métrica de precisão diminuiu de 80,18 para 64,97. Isso pode ocorrer porque você definiu a métrica de cobertura com um valor relativamente alto de 70 ou talvez por causa de como os dados que você está treinando são distribuídos.
Exemplo de configuração de cancelamento
Em outro cenário, classificar se um e-mail de entrada é Phish ou não pode ser um caso de uso importante em uma solução de aprendizado de máquina relacionada à segurança. Nessa situação, é muito importante identificar cada Phish, e pode ser aceitável relatar um não Phish como um Phish ocasionalmente. No entanto, nenhum Phish real deve ser classificado como um não Phish. Em tais situações, a métrica de cancelamento deve ter um valor alto, o que pode levar a porcentagens mais baixas de precisão e cobertura. Aqui você pode definir a métrica de cancelamento como 95 e clique em Aplicar valores .
Estes são os valores de métrica que o sistema aplicou à solução. O valor da métrica de recall aumentou de 54,87 para 61,03. No entanto, a métrica de precisão diminuiu de 60,1 para 55,44. Isso provavelmente ocorre porque você definiu a métrica de cancelamento com o valor alto de 95.
Resultados no nível de classe para os valores de métrica da solução que você aplica à sua solução
A imagem a seguir mostra um exemplo dos resultados no nível de classe que o sistema aplicou às estatísticas de precisão, cobertura e cancelamento de uma solução para 37 classes. Você pode continuar modificando os valores da métrica até ficar totalmente satisfeito com os resultados.
Classificando (z a a) na coluna Precisão estimada, você pode ver quais classes têm a maior precisão para a solução.