Configuração de métricas de destino para uma solução de classificação treinada
Defina valores de precisão, cobertura e estatísticas de cancelamento para uma solução de aprendizado de máquina treinada.
Como definir valores de métrica de classificação no nível de classe ou solução
Inteligência preditiva fornece três tipos de métrica de classificação: precisão, cobertura e cancelamento. Você configura essas métricas na guia Estatísticas da solução de um formulário de solução de classificação treinado. Embora você possa definir valores manualmente para essas métricas no nível de classe, isso pode ser um desafio se você tiver um grande número de classes para cobrir. Em muitos casos, você pode não saber o melhor valor a ser definido até que sua solução seja treinada. Este tópico se concentra em definir os valores de métrica apenas no nível de solução.
Configuração de métricas de solução
Quando você aplica um valor a uma métrica, ele muda os valores das outras duas. Esse comportamento permite que você modifique suas métricas iterativamente em tempo real para ver quais combinações de valor renderizam resultados específicos. Quando você aplica um novo valor a uma métrica, o sistema o recalcula considerando suas novas metas.
Aplicar um valor a uma métrica solicita que o sistema treine suas previsões para privilegiar a métrica definida com base no valor percentual mais alto e a um custo para as outras métricas. O sistema tenta atender a esses valores, mas pode não defini-los exatamente como você solicitou devido à forma como os dados que você está treinando são distribuídos.
Quando você aplica valores de métrica no nível de solução, o sistema define automaticamente os valores apropriados no nível de classe.
- Navegue até a guia Estatísticas da solução de uma solução de ML treinada.
- Revise as mensagens nas faixas verdes da tela que definem cada uma das métricas para que você possa entender melhor os valores que deseja atribuir à solução. As duas primeiras faixas de mensagem abordam as métricas estimadas de nível de solução. A terceira faixa aborda os resultados de nível de classe com base nos valores de solução que você aplicou.
- Na lista de seleção Métrica de destino, selecione a métrica que você deseja configurar.
- No campo Valor da métrica de destino, insira um valor de percentil numérico entre 0 e 100.
- Clique em Aplicar valores.
- Resultado: na guia Estatísticas de soluções, você pode revisar a mudança nos valores para Precisãoestimada da solução , Cancelamentoestimado da solução e Cobertura estimadada solução . O sistema calcula esses valores com base na Métrica de destino selecionada e no Valor da métrica de destino inserido para a solução.
Este é um exemplo de página principal de uma solução de classificação treinada recentemente. Como você pode ver, a métrica de precisão é 44,18, o recall é 41,26 e a cobertura é 77,23.
Se você precisar ajustar esses valores padrão para um caso de uso, consulte as configurações de exemplo abaixo. Por exemplo, com base na solução de classificação que você está implementando, convém alterar o valor da métrica de destino para precisão, cancelamento ou cobertura. Lembre-se de que quando você altera o valor da métrica de destino para uma métrica, como precisão, isso também afeta os valores das métricas de recall e cobertura.
Exemplo de configuração de precisão
Neste cenário de exemplo, você está substituindo um processo de triagem manual para roteamento de registros de incidentes por uma solução de classificação de ML que atribui automaticamente os registros ao grupo de atribuição correto. Para este cenário, você tem um valor de destino em mente e o sistema deve prever corretamente pelo menos 80% do tempo. Portanto, defina o valor da métrica de precisão como 80 e clique em Aplicar valores.
Estes são os valores de métrica que o sistema aplicou à solução. Neste cenário, o valor de precisão de 80,04 excedeu um pouco sua solicitação de 80%, portanto, você provavelmente está satisfeito com esse valor.
Exemplo de configuração de cobertura
Em outro cenário de exemplo em que você está substituindo um processo de triagem manual para roteamento de registros de incidentes, seu objetivo mínimo é prever pelo menos 70% dos incidentes de entrada no primeiro trimestre do ano. Portanto, defina o valor da métrica de cobertura como 70 e clique em Aplicar valores.
Os valores de métrica que o sistema aplicou à solução são mostrados na imagem a seguir. O valor da métrica de cobertura aumentou de 35,99 para 55,98. No entanto, a métrica de precisão diminuiu de 80,18 para 64,97. Isso pode ocorrer porque você definiu a métrica de cobertura com um valor relativamente alto de 70 ou talvez devido à forma como os dados que você está treinando são distribuídos.
Exemplo de configuração de cancelamento
Em outro cenário, classificar se um e-mail recebido é um phishing ou não pode ser um caso de uso importante em uma solução de aprendizado de máquina relacionada à segurança. Nessa situação, é muito importante identificar todos os phishing e, de vez em quando, não há problema em relatar um que não seja phishing como phishing. No entanto, nenhum phishing real deve ser classificado como não phishing. Nessas situações, a métrica de cancelamento deve ter um valor alto, o que pode levar a porcentagens mais baixas de precisão e cobertura. Portanto, aqui você pode definir a métrica de cancelamento como 95 e clicar em Aplicar valores.
Estes são os valores de métrica que o sistema aplicou à solução. O valor da métrica de cancelamento aumentou de 54,87 para 61,03. No entanto, a métrica de precisão diminuiu de 60,1 para 55,44. Provavelmente, isso ocorre porque você definiu a métrica de cancelamento com o valor alto de 95.
Resultados no nível de classe para os valores de métrica da solução que você aplicar à sua solução
A imagem a seguir mostra um exemplo dos resultados de nível de classe que o sistema aplicou às estatísticas de precisão, cobertura e cancelamento de uma solução para 37 classes. Você pode continuar modificando os valores de métrica até estar totalmente satisfeito com os resultados.
Classificando (z a a) na coluna Precisão estimada, você pode ver quais classes têm a maior precisão para a solução.