Tópicos de LLM de teste

Visualize, teste e depure tópicos que usam modelos de linguagem grandes (LLMs) no Designer do Virtual Agentjanela de bate-papo.

Você pode testar as funções do tópico executando sua conversa em uma janela de teste de bate-papo enquanto trabalha. A web ( Portal de serviços) o cliente de bate-papo é a janela de teste padrão.

Os tópicos de modelo de linguagem grande (LLM) são mais rápidos e fáceis de testar em comparação com Compreensão da linguagem natural( NLU) tópicos. Por exemplo, você não precisa testar novamente o tópico depois de atualizar enunciados e modelos de retreinamento como com NLUtópicos.

Se você estiver usando o. Integrações do Virtual Agent com apps de mensagens de terceiros , os elementos em sua conversa podem aparecer de forma diferente em aplicativos de mensagens de terceiros. Teste suas conversas em qualquer aplicação de terceiros em que você deseja implantar Virtual Agent.

Nota:

Se houver a configuração do painel do Now Assist, da aplicação Microsoft Teams ou da aplicação Slack para o seu ambiente, a exibição das opções de visualização desses canais ocorrerá na lista de botões de teste. Clique em Visualizar no painel do Now Assist ou em Exibição no Microsoft Teams na lista para testar seu tópico nesses ambientes.

Testando seu tópico de LLM na janela de teste de bate-papo

Figura 1. Opções de teste de LLM

Nota:

Nota:

Uma interface do usuário atualizada do Designer do Virtual Agent está disponível quando você instala o Now Assist no Virtual Agent e ativa a habilidade "Tópicos do Now Assist". Este conteúdo pressupõe que você ativou essa habilidade e pode ver a exibição de lista. Se você não ativou essa habilidade, você verá a IU e a página de tópicos legadas. Para obter mais informações, consulte a página de tópicos legados do Designer do Virtual Agent.

Testar tópicos de LLM no Designer do Virtual Agenttrabalhando com o. Teste opções na barra de cabeçalho do tópico. Ao testar a partir de um único tópico, o. Incluir descoberta de tópico a opção deve ser selecionada para trabalhar com os assistentes. Se o tópico estiver associado a vários assistentes de LLM, use a lista suspensa Assistente para selecionar qual assistente você deseja testar. Para obter mais informações sobre assistentes de LLM, consulte .

Nota:

Se o tópico não tiver as informações necessárias, um selo incompleto aparecerá no canto do painel do diagrama de fluxo. Um selo de aviso amarelo ou vermelho também aparece ao lado de cada nó. O selo incompleto lista o número total de ocorrências, enquanto os selos de aviso locais mostram quantos ocorrências são encontradas em cada nó. Se você selecionar Teste Quando há ocorrências, uma janela de ocorrências é aberta com o número de ocorrências presentes junto com os detalhes de cada ocorrência. Esses detalhes incluem uma descrição completa e um hiperlink para cada item incompleto.

Como alternativa, você pode testar tópicos de LLM ativos (publicados) na página Tópicos. Use o. Assistente de LLM filtre para restringir seus tópicos somente a tópicos associados a esse assistente e selecione Testar tópicos ativos . Se você não usar o. Assistente de LLM filtro, selecione Testar tópicos do assistente de LLM Na lista suspensa Testar tópicos ativos. Ao usar o. Testar tópicos ativos A descoberta de tópicos está habilitada, portanto, não está listada como uma opção. Ao testar na página Tópicos, a lista suspensa Assistente aparece na janela de teste de bate-papo. Você deve ter estabelecido anteriormente pelo menos o padrão Now Assistem Virtual Agentassistente para ver a lista suspensa Assistente. Quando um tópico é associado a apenas um assistente de LLM, a lista suspensa Assistente assume o nome desse assistente como padrão. Se você tiver vários assistentes, selecione com qual assistente você deseja trabalhar usando a lista suspensa Assistente. Para obter mais informações sobre como criar vários assistentes de LLM, consulte Gerencie agentes virtuais de LLM na tela Assistentes.

A janela de teste de bate-papo é aberta no Now Assistem Virtual Agentwidget de bate-papo. A lista suspensa Assistente e. Incluir descoberta de tópico A opção pode ser exibida dependendo de onde você originou o teste e se você estabeleceu algum assistente de LLM.

Você pode fornecer feedback para cada enunciado feito pelo LLM selecionando no ícone Curtir polegar para cima ou não gostar do ícone de polegar para baixo opções que aparecem quando você passa o mouse sobre um enunciado. Todas as entradas do usuário do LLM, exceto o Coletor de entradas, têm essas opções de feedback.

Figura 2. Opções de feedback de resposta do LLM

A janela de teste de bate-papo também exibe guias adjacentes que fornecem detalhes sobre o tópico enquanto você o testa. As seguintes guias estão disponíveis ao testar tópicos de LLM:

• Analise frases de teste - Resultados da descoberta de tópicos com base em sua entrada.
• Modificar instruções - Lista de todos os instrumentos no tópico que são enviados para o LLM. Esta guia só está disponível ao testar um único tópico.
• Variáveis - Lista de todas as variáveis usadas na conversa, como entrada e. Atendentevariáveis.
• Edite variáveis - Opções para editar as variáveis usadas neste tópico.
• Contexto - Opções para especificar o contexto (usando variáveis de contexto) no qual um tópico é executado.
• Logs - Lista dos processamentos realizados.

Figura 3. Exemplo de janela de teste e guias

As guias a seguir aparecem quando você testa os tipos de tópicos relacionados no Designer do Virtual Agenttela:

• . Analise frases de teste , Modificar instruções , Variáveis e. Logs As guias são exibidas para todos os tipos de tópico de LLM.
• . Edite variáveis a guia é exibida para blocos de tópicos e controles personalizados.
• . Contexto a guia aparece para tópicos, tópicos de configuração ou tópicos de conversa pequena quando você seleciona Incluir descoberta de tópico .

Se você executar testes na página Tópicos, a janela de teste mostrará apenas o. Analise frases de teste , Variáveis , Contexto (disponível por padrão, sem Incluir descoberta de tópico ), e. Logs guias.

Guia Analisar frases de teste

Quando você testa tópicos de LLM, os resultados da descoberta de tópicos aparecem com base na sua entrada. Ao testar tópicos associados a um assistente de LLM primário, somente os tópicos promovidos do assistente primário são exibidos. Quando insere uma frase de teste, pode ver uma variedade de resultados de pesquisa quando o Genius resulta estão habilitados, incluindo descoberta de habilidade (tópico), Base de conhecimento(KB) artigos e itens do catálogo. Nos resultados da pesquisa de habilidades, r Matchingo selo aparece ao lado da habilidade descoberta, enquanto variáveis e valores também podem ser listados (como a variável @laptop_makee o valor macbookdependendo do tópico . Estes resultados Genius só aparecem se você estiver testando um tópico publicado e tiver selecionado o. Incluir descoberta de tópico opção. . Incluir descoberta de tópico A opção aparece inativa, publique o tópico e selecione um assistente de LLM na guia Propriedades para trabalhar com a descoberta de tópicos. R Indexação de pesquisa em andamento a mensagem pode aparecer, mas você ainda pode testar enquanto a indexação de pesquisa é executada, embora a descoberta de tópicos possa não ser atualizada. Para obter mais informações sobre como os resultados Genius funcionam, consulte Now Assist in AI Search.

Além disso, ao testar tópicos ativos do assistente de LLM na página Tópicos, você verá resultados de habilidades para a pesquisa semântica. A pesquisa semântica analisa os significados e o contexto dos termos de pesquisa e usa essas informações para encontrar resultados com significados semelhantes. Ele melhora o recall da pesquisa interpretando a linguagem natural para refletir com mais precisão a intenção da sua pesquisa. Se a pesquisa semântica estiver desativada para testes de descoberta de tópicos, esses resultados não serão exibidos. Para obter mais informações sobre pesquisa semântica, consulte Semantic vector search in AI Search.

Figura 4. Guia de frases de teste de análise de exemplo para tópicos de LLM

Guia de instruções de modificação

Se o tópico contiver instruções enviadas para o LLM, elas serão mostradas na categoria Nós. A categoria Nós lista os nós de entrada do usuário do LLM na tela, seus nomes de campo e seus conteúdos.

Você pode modificar o conteúdo de qualquer uma das instruções para desenvolver instruções ideais para a conversa. Se um nó tiver Impor prompt do usuário ativo, um ícone de verificação azul e a. Prompt do usuário imposto a mensagem é exibida. Desativar Impor prompt do usuário para modificar as instruções do nó.

Se alguma das suas entradas de usuário tiver Permitir preenchimento automático de slot Ativada, a Descrição detalhada da entrada se torna um campo estático. Se Permitir preenchimento automático de slot está inativo, você pode definir a descrição detalhada usando um seletor de script ou cápsula de dados. Para obter mais informações, consulte a entrada da tabela Permitir preenchimento automático de slot em Controle de entrada do usuário de textoOu qualquer outro controle de entrada de usuário do LLM.

O status de cada instrução começa em Original . Se você alterar o conteúdo de uma instrução, seu status mudará para Modificado e um ícone reverter aparece ao lado dele. O número total de instruções modificadas está listado na parte inferior da guia ao lado de A. Salvar no tópico botão. Para testar as instruções modificadas, selecione Aplicar e reiniciar . Para desfazer mudanças em uma instrução, selecione o ícone Reverter ao lado da instrução. Como alternativa, desfaça todas as mudanças selecionando Reverter que é ativado quando você modifica qualquer instrução.

Nota:

Se você selecionar Salvar no tópico , todas as mudanças são salvas e tudo Modificado mensagens redefinidas como Original .

Figura 5. Guia Modificar instruções de exemplo

Figura 6. Guia Modificar instruções com uma modificação

Se as instruções em um nó incluírem conteúdo potencialmente ofensivo, um selo de aviso aparecerá no nó. Um ícone de aviso amarelo também aparece ao lado do nome do nó. Selecionando Aplicar e reiniciar insere essas instruções e remove o selo e o ícone, e o. Modificado o status é revertido para Original .

Figura 7. Guia Modificar instruções com avisos de conteúdo potencialmente ofensivo

Guia Variáveis

. Variáveis exibe uma lista de todas as variáveis usadas na conversa e os valores associados capturados à medida que a conversa avança, para que você possa acompanhar. Uma conversa pode ter estes tipos de variáveis:

• Variáveis de entrada
• Variáveis do Script
• Atendente variáveis
• Variáveis passadas entre um tópico de chamada e um bloco de tópico

A lista é separada em seções por tipos de variáveis. O exemplo a seguir mostra a seção Variáveis de entrada. Observe que, para o controle de lista estática, o rótulo de exibição e o valor são capturados para a opção selecionada.

Figura 8. Lista de exemplo de variáveis de entrada

O exemplo a seguir mostra a seção Variáveis de entrada do controle de lista agrupada. Essas informações de variável parecem semelhantes ao controle de lista estática, mas as variáveis são separadas por cada grupo da opção agrupada.

Figura 9. Lista de exemplo de variáveis de escolha agrupadas

Guia Editar variáveis

Ao testar blocos de tópicos e controles personalizados, você pode editar as variáveis encontradas nos nós.

Guia de contexto

. Contexto a guia aparece quando você está testando tópicos, tópicos de configuração ou tópicos de conversa pequena, para especificar um contexto diferente para o bate-papo. Escolha uma variável de contexto na lista. As variáveis contêm informações contextuais que podem ser usadas para determinar a intenção do tópico ou controlar como os bate-papos são roteados para agentes ativos. Por exemplo, você pode selecionar portal na lista de variáveis e insira o nome do portal TI expressa . . Contexto a guia não está disponível ao criar casos de teste.

Para obter mais informações sobre como definir variáveis de contexto, consulte Configure variáveis de contexto para armazenar informações relacionadas ao bate-papo. Para obter mais informações sobre variáveis do atendente que estão incluídas com Virtual Agent, consulte Variáveis de contexto do bate-papo do atendente.

Figura 10. Guia de contexto de exemplo

Próximas etapas

Quando terminar de testar seu tópico, feche a janela de bate-papo de teste. Se necessário, use as informações do teste para ajustar seu tópico para ter um desempenho mais preciso. Por exemplo, os resultados no Analise frases de teste a guia pode retornar pontuações baixas ou Não tenho certeza ou Desconhecido classificações de confiança. Melhore as pontuações atualizando a descrição do tópico ou as instruções nos nós de entrada do usuário do LLM.