Solucione problemas de avaliações agentivas

Encontre soluções para erros comuns de avaliação, incluindo falhas de execução, problemas de ingestão de dados e resultados inesperados.

Ao usar avaliações agentivas, você pode ver resultados de execução inesperados ou erros. A seguir, são discutidas situações que você pode encontrar e alguns dos motivos pelos quais essas situações ocorrem.

Falha na execução da avaliação

Há alguns motivos diferentes pelos quais uma execução de avaliação pode não ser executada corretamente.

Versão do agente indisponível

Verifique se a versão do agente selecionada ainda existe em Estúdio de agentes de IA. A versão não precisa ser a ativa no momento, mas as versões excluídas ou arquivadas não podem ser avaliadas.

Permissões de usuário

Confirme se seu registro de usuário tem as permissões necessárias para executar execuções de avaliação em geral e para usar o ativo de IA específico. Para verificar se um determinado usuário tem acesso, você pode executar um teste de acesso. Consulte Teste o acesso do usuário a um agente de IA e Testar o acesso do usuário a um fluxo de trabalho agentivo.

Erros de formato de dados

Verifique se o conjunto de dados está em conformidade com o formato necessário. Registros malformados podem causar falha na avaliação. Consulte Requisitos de dados para avaliações agentivas para os tipos de dados compatíveis.

Incompatibilidade de métrica e dados

Confirme se todas as métricas selecionadas têm as entradas de dados necessárias. As métricas que exigem verdade básica falharão se o campo de verdade básica estiver ausente no conjunto de dados.

Baixo desempenho do ativo de IA agential, apesar de nenhum problema encontrado

Se a avaliação não encontrou problemas, mas o ativo de IA agentivo específico ainda não estiver funcionando de acordo com padrões aceitáveis, considere o seguinte:

Cobertura do conjunto de dados

O conjunto de dados de avaliação pode não incluir os tipos de entradas ou cenários que expõem os pontos fracos do agente. Revise o conjunto de dados para verificar se há lacunas de cobertura e adicione casos de borda representativos para alinhar mais de perto o que está sendo avaliado com cenários do mundo real.

Seleção de métrica

As métricas selecionadas podem não medir onde o ativo de IA agentivo está falhando. Revise se  métricas adicionais ou diferentes capturariam melhor a lacuna de desempenho. Você pode crie métricas personalizadas Para avaliar outras dimensões das respostas ou ações do ativo de IA agentivo, como duração da resposta ou se uma resposta atende a determinados requisitos de formatação.

Limites de pontuação

O limite de aprovação para uma métrica pode ser definido em um nível que não reflita seus requisitos. Revise as configurações de limite na configuração de métricas para redefinir o sucesso e a falha.

A otimização foi aplicada, mas a reavaliação não melhorou

Se as pontuações de reavaliação não melhorarem após aplicando otimizações , tente o seguinte:

• Revise os detalhes de rastreamento dos problemas que foram direcionados. A otimização pode ter aliviado apenas os sintomas no nível da superfície sem resolver a causa raiz subjacente.
• Verifique se a otimização introduziu uma regressão em uma métrica diferente. As melhorias de pontuação em uma área às vezes podem degradar outra, diminuindo as pontuações finais.
• Se a otimização foi aplicada à lista de etapas de um ativo de IA agentivo, verifique se a lista atualizada de etapas foi aplicada à versão que você está avaliando.

Erros de processamento de dados

Se os dados não puderem ser processados porque não atendem aos requisitos de dados, a avaliação não poderá ser executada corretamente. A seguir descreve as causas comuns de erros de processamento de dados:

Formato de arquivo incorreto

Os formatos de arquivo aceitos são CSV e JSON estruturado. Não é possível processar outros formatos de arquivo.

Campos obrigatórios ausentes

Os conjuntos de dados devem incluir os campos exigidos pelas métricas selecionadas. Verifique se há colunas ausentes ou nomeadas incorretamente. Se você estiver usando uma verdade básica, deverá incluí-la no conjunto de dados.

Problemas de codificação

Os arquivos devem ser codificados em UTF-8. Arquivos com codificação não padrão podem falhar ao serem processados.

Tamanho de arquivo

 Arquivos ou conjuntos de dados muito grandes podem expirar durante o processamento. Se isso ocorrer, reduza o tamanho do conjunto de dados ou entre em contato com o administrador da plataforma.