Avaliar um prompt

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 2 min. de leitura

    • Use as ferramentas de avaliação Kit de habilidades do Now Assist para avaliar a eficácia de suas sugestões de habilidades.

    Antes de Iniciar

    Função necessária: sn_skill_builder.admin

    Procedimento

    1. Navegar até Tudo > Kit de habilidades do Now Assist > Página Inicial.
    2. Selecione a habilidade que você deseja avaliar.
    3. Selecione a guia Avaliação.
    4. Crie um conjunto de dados a partir de uma tabela ou coleta de dados.
      Tabela 1. Criar um conjunto de dados
      Método Etapas
      Criar um conjunto de dados a partir de uma tabela
      1. Dê um nome e uma descrição ao conjunto de dados.
      2. Selecione Tabela.
      3. Encontre a tabela que você deseja usar.
      4. Selecione o número máximo de registros que você deseja usar.
      5. Adicione condições.
      6. Selecione Gerar visualização.
      7. Selecione os mapeamentos.
      8. Selecione Criar.
      Criar um conjunto de dados a partir de uma coleta de dados
      1. Dê um nome e uma descrição ao conjunto de dados.
      2. Selecione Coleta de dados.
      3. Selecione uma coleta de dados que você criou em Kit de dados do Now Assist.
      4. Selecione Gerar visualização.
      5. Selecione os mapeamentos.
      6. Selecione Criar.
    5. Selecione o ícone de adição ícone de adição para execuções de avaliação.
    6. Dê à execução de avaliação um nome e uma descrição.
    7. Selecione um ou mais prompts que você deseja avaliar.
    8. Selecione Salvar e Avançar.
    9. Selecione um conjunto de dados.
    10. Selecione Salvar e Avançar.
    11. Expanda a guia Qualidade.
    12. Selecione as métricas que você deseja avaliar.
      Tabela 2. Métricas de avaliação
      Método de avaliação Métrica Descrição
      Humano Feedback humano A avaliação humana é a opção padrão disponível para todas as execuções de prompt que geram uma resposta. Você pode classificar a resposta com um polegar para cima ou para baixo, com base em sua satisfação. Você também tem a opção de fornecer um feedback mais detalhado para explicar sua escolha de avaliação.
      Automatizado Exatidão A métrica de exatidão avalia a precisão, a integridade, a pertinência e a qualidade da escrita da resposta gerada em relação à instrução fornecida. Essa métrica ajuda a verificar se o texto reflete com precisão a instrução, cobre todos os pontos importantes, permanece relevante e está bem escrito.
      Automatizado Exatidão com resposta de ouro A métrica de exatidão com resposta de ouro usa uma referência predefinida para avaliar a precisão, completude, pertinência e qualidade de escrita da resposta gerada em relação à instrução fornecida. Essa métrica ajuda a verificar se o texto reflete com precisão a instrução, cobre todos os pontos importantes, permanece relevante e está bem escrito. Você deve usar essa métrica sempre que possível.
      Automatizado Fidelidade A métrica de fidelidade avalia se uma resposta gerada reflete com precisão as informações e o contexto fornecidos na instrução fornecida. Essa métrica ajuda a verificar se o texto não contém alucinações, fatos fabricados ou conclusões sem fundamento, mantendo o alinhamento com o material de origem.
    13. Selecione Salvar e Avançar.
    14. Revise as escolhas de avaliação que você fez.
    15. Selecione Salvar e avaliar.
    16. Opcional: Faça uma avaliação humana.
      1. Selecione Avaliação humana.
      2. Selecione um registro para usar na avaliação.
      3. Expanda o prompt e leia o resultado.
      4. Selecione o ícone de polegar para cima ou para baixo avaliação humana ícone de polegar para cima ou polegar para baixo para fornecer sua avaliação.
      5. Adicione mais informações e selecione Enviar.