Configuração de métricas de destino para uma solução de classificação treinada
Defina valores para estatísticas de precisão, cobertura e recall para uma solução de aprendizado de máquina treinada.
Definição de valores de métrica de classificação no nível de classe ou solução
Inteligência preditiva fornece três tipos de métrica de classificação: precisão, cobertura e recall. Você configura essas métricas na guia Estatísticas da solução de um formulário de solução de classificação treinado. Embora você possa definir valores manualmente para essas métricas no nível da classe, isso pode ser um desafio se você tiver um grande número de classes para cobrir. Em muitos casos, talvez você não saiba o melhor valor a ser definido até que sua solução seja treinada. Este tópico se concentra na definição dos valores de métrica apenas no nível da solução.
Configuração de métricas de solução
Quando você aplica um valor a uma métrica, ele muda os valores das outras duas. Esse comportamento permite que você modifique suas métricas iterativamente em tempo real para ver quais combinações de valor renderizam resultados específicos. Quando você aplica um novo valor a uma métrica, o sistema o recalcula considerando suas novas metas.
A aplicação de um valor a uma métrica solicita que o sistema treine suas previsões para privilegiar a métrica definida com base no maior valor percentual e a um custo para as outras métricas. O sistema tenta atender a esses valores, mas pode não defini-los exatamente como você solicita devido à forma como os dados que você está treinando são distribuídos.
Quando você aplica valores de métrica no nível da solução, o sistema define automaticamente os valores apropriados no nível da classe.
- Navegue até a guia Estatísticas da solução de uma solução de ML treinada.
- Revise as mensagens nas faixas verdes da tela que definem cada uma das métricas para que você possa entender melhor os valores que deseja atribuir à solução. As duas primeiras faixas de mensagem abordam as métricas estimadas de nível de solução. A terceira faixa aborda os resultados no nível de classe com base nos valores de solução que você aplicou.
- Na lista de seleção Métrica de destino, selecione a métrica que você deseja configurar.
- No campo Valor da métrica de destino, insira um valor de percentil numérico entre 0 e 100.
- Clique em Aplicar valores.
- Resultado: na guia Estatísticas de soluções, você pode revisar a mudança nos valores para Precisão da soluçãoestimada , Cancelamento da soluçãoestimado e Coberturada solução estimada . O sistema calcula esses valores com base na Métrica de destino selecionada e no Valor da métrica de destino inserido para a solução.
Esta é uma amostra de página principal de uma solução de classificação treinada recentemente. Como você pode ver, a métrica de precisão é 44,18, o recall é 41,26 e a cobertura é 77,23.
Se você precisar ajustar esses valores padrão para um caso de uso, consulte as configurações de exemplo abaixo. Por exemplo, com base na solução de classificação que você está implementando, convém alterar o valor da métrica de destino para precisão, recall ou cobertura. Lembre-se de que quando você altera o valor da métrica de destino de uma métrica, como precisão, isso afeta os valores das métricas de recall e cobertura.
Exemplo de configuração de precisão
Neste cenário de exemplo, você está substituindo um processo de triagem manual para roteamento de registros de incidentes por uma solução de classificação de ML que atribui automaticamente os registros ao grupo de atribuição correto. Para este cenário, você tem um valor de destino em mente e o sistema deve prever corretamente pelo menos 80% do tempo. Portanto, defina o valor da métrica de precisão como 80 e clique em Aplicar valores.
Aqui estão os valores de métrica que o sistema aplicou à solução. Neste cenário, o valor de precisão de 80,04 excedeu um pouco sua solicitação de 80%, portanto, você provavelmente está satisfeito com esse valor.
Exemplo de configuração de cobertura
Em outro cenário de exemplo em que você está substituindo um processo de triagem manual para roteamento de registros de incidentes, seu objetivo mínimo é prever pelo menos 70% dos incidentes de entrada no primeiro trimestre do ano. Portanto, defina o valor da métrica de cobertura como 70 e clique em Aplicar valores.
Os valores de métrica que o sistema aplicou à solução são mostrados na imagem a seguir. O valor da métrica de cobertura aumentou de 35,99 para 55,98. No entanto, a métrica de precisão diminuiu de 80,18 para 64,97. Isso pode ocorrer porque você definiu a métrica de cobertura com um valor relativamente alto de 70 ou talvez devido à forma como os dados que você está treinando são distribuídos.
Exemplo de configuração de recall
Em outro cenário, classificar se um e-mail de entrada é um phishing ou não pode ser um caso de uso importante em uma solução de aprendizado de máquina relacionada à segurança. Nessa situação, é muito importante identificar todos os phishing e, às vezes, pode ser OK denunciar um não phishing como phishing. No entanto, nenhum phishing real deve ser classificado como não phishing. Nessas situações, a métrica de recall deve ter um valor alto, o que pode levar a porcentagens mais baixas de precisão e cobertura. Portanto, aqui você pode definir a métrica de recall como 95 e clicar em Aplicar valores.
Aqui estão os valores de métrica que o sistema aplicou à solução. O valor da métrica de recall aumentou de 54,87 para 61,03. No entanto, a métrica de precisão diminuiu de 60,1 para 55,44. Isso provavelmente ocorre porque você definiu a métrica de recall com o valor alto de 95.
Resultados no nível de classe para os valores de métrica da solução que você aplica à sua solução
A imagem a seguir mostra um exemplo dos resultados no nível de classe que o sistema aplicou às estatísticas de precisão, cobertura e recall de uma solução para 37 classes. Você pode continuar modificando os valores de métrica até estar totalmente satisfeito com os resultados.
Ao classificar (z até a) na coluna Precisão estimada, você pode ver quais classes têm a maior precisão para a solução.