Como testar tópicos do LLM

Visualize, teste e depure tópicos que usam modelos de linguagem grandes (LLMs) na janela de bate-papo do Designer do Virtual Agent.

Você pode testar as funções do seu tópico executando sua conversa em uma janela de teste de bate-papo enquanto trabalha. O cliente de bate-papo da Web (Portal de serviços) é a janela de teste padrão.

Os tópicos do modelo de linguagem grande (LLM) são mais rápidos e fáceis de testar se comparados com os tópicos Compreensão da linguagem natural (NLU). Por exemplo, você não precisa testar outras vezes o tópico depois de atualizar enunciados e modelos de retreinamento como nos tópicos NLU.

Se você estiver usando as Integrações com Virtual Agent com aplicações de envio de mensagens de terceiros, os elementos em sua conversa poderão ser exibidos de forma diferente em aplicações de envio de mensagens de terceiros. Teste suas conversas em qualquer aplicação de terceiros onde você deseja implantar Virtual Agent.

Nota:

Se o painel Now Assist, a aplicação Microsoft Teams ou a aplicação Slack estiver configurado para o seu ambiente, as opções de visualização desses canais serão exibidas na lista de botões Testar. Clique em Visualizar no painel do Now Assist ou em Exibição no Microsoft Teams na lista para testar seu tópico nesses ambientes.

Como testar seu tópico de LLM na janela de teste de bate-papo

Figura 1. Opções de teste de LLM

Nota:

Nota:

Uma interface do usuário Designer do Virtual Agent atualizada está disponível quando você instala Now Assist em Virtual Agent e ativa a habilidade Now Assist Tópicos. Este conteúdo pressupõe que você ativou esta habilidade e pode ver a exibição de lista. Se esta habilidade não estiver ativada, você verá a IU legada e a página de tópicos. Para obter mais informações, consulte a página de tópicos legados do Designer do Virtual Agent.

Teste os tópicos do LLM na tela Designer do Virtual Agent trabalhando com as opções de teste na barra de cabeçalho do tópico. Ao testar a partir de um único tópico, a opção de descoberta Incluir tópico deve ser selecionada para funcionar com os assistentes. Se o tópico estiver associado a vários assistentes do LLM, use a lista suspensa Assistente para selecionar qual assistente você deseja testar. Para obter mais informações sobre os assistentes do LLM, consulte Assistentes do LLM.

Nota:

Se o seu tópico não tiver informações necessárias, um selo incompleto aparecerá no canto do painel do diagrama de fluxo. Um selo de aviso amarelo ou vermelho também vai aparecer ao lado de cada nó. O selo incompleto lista o número total de problemas, enquanto os selos de aviso locais mostram quantos problemas foram encontrados em cada nó. Se você selecionar Testar quando houver problemas, uma janela Problemas será aberta com o número de problemas presentes junto com os detalhes de cada problema. Esses detalhes incluem uma descrição completa e um hiperlink para cada item incompleto.

Como alternativa, você pode testar tópicos de LLM ativos (publicados) na página Tópicos. Use o filtro do Assistente do LLM para restringir seus tópicos somente aos tópicos associados a esse assistente e selecione Testar tópicos ativos. Se você não usar o filtro do Assistente do LLM, selecione Testar tópicos do assistente do LLM na lista suspensa Testar tópicos ativos. Ao usar a opção Testar tópicos ativos ou subopções da página Tópicos, a descoberta de tópicos está habilitada, portanto, não está listada como uma opção. Ao testar na página Tópicos, a lista suspensa do Assistente aparece na janela de teste de bate-papo. Você deve ter estabelecido previamente pelo menos o assistente padrão Now Assist em Virtual Agent para ver a lista suspensa Assistente. Quando um tópico está associado a apenas um assistente do LLM, a lista suspensa Assistente assume como padrão o nome desse assistente. Se você tiver vários assistentes, selecione com qual assistente deseja trabalhar usando a lista suspensa Assistente. Para obter mais informações sobre como criar vários assistentes do LLM, consulte Gerenciar agentes virtuais LLM na tela Assistentes.

A janela de teste de bate-papo é aberta no widget de bate-papo Now Assist em Virtual Agent. A lista suspensa Assistente e a opção Incluir descoberta de tópico podem ser exibidas dependendo de onde você originou o teste e se você estabeleceu algum assistente de LLM.

Você pode fornecer feedback para cada enunciado feito pelo LLM selecionando o ícone de polegar para cima ou não gostei do ícone de polegar para baixo Opções que aparecem quando você passa o mouse sobre um enunciado. Todas as entradas do usuário do LLM, exceto o Coletor de entrada, têm essas opções de feedback.

Figura 2. Opções de feedback de resposta do LLM

A janela de teste de bate-papo também exibe guias adjacentes que fornecem detalhes sobre o tópico conforme você o testa. As guias a seguir estão disponíveis ao testar tópicos do LLM:

• Analisar frases de teste: resultados da descoberta de tópicos com base na sua entrada.
• Modificar instruções — Lista de todas as instruções no tópico que são enviadas para o LLM. Esta guia só está disponível ao testar um único tópico.
• Variáveis: lista de todas as variáveis usadas na conversa, como variáveis de entrada e do Atendente.
• Editar variáveis: opções para editar as variáveis usadas neste tópico.
• Contexto: opções para especificar o contexto (usando variáveis de contexto) no qual um tópico será executado.
• Logs: lista do processamento realizado.

Figura 3. Exemplo de janela e guias de teste

As guias a seguir aparecem quando você testa os tipos de tópico relacionados na tela Designer do Virtual Agent:

• As guias Analisar frases de teste, Modificar instruções, Variáveise Logs são exibidas para todos os tipos de tópico do LLM.
• A guia Editar variáveis é exibida para blocos de tópicos e controles personalizados.
• A guia Contexto aparece para tópicos, tópicos de configuração ou tópicos de conversa superficial quando você seleciona Incluir descoberta de tópico.

Se você executar testes na página Tópicos, a janela de teste mostrará somente as guias Analisar frases de teste, Variáveis, Contexto (disponível por padrão, sem a opção Incluir descoberta de tópico ) e Logs.

Analisar a guia de frases do teste

Quando você testa tópicos do LLM, os resultados da descoberta de tópicos são exibidos com base na sua entrada. Ao testar tópicos associados a um assistente do LLM primário, somente os tópicos promovidos do assistente primário são exibidos. Ao inserir uma frase de teste, você pode ver uma variedade de resultados de pesquisa nos resultados do Genius estão habilitados, incluindo a descoberta de habilidades (tópico), Base de conhecimento artigos (KB) e itens do catálogo. Nos resultados da pesquisa de habilidades, um selo Matching aparece ao lado da habilidade descoberta, enquanto variáveis e valores também podem ser listados (como a variável @laptop_make e o valor macbook), dependendo do tópico. Esses resultados do Genius serão exibidos somente se você estiver testando um tópico publicado e tiver selecionado a opção Incluir descoberta de tópico. Se a opção Incluir descoberta de tópico aparecer inativa, publique o tópico e selecione um assistente do LLM na guia Propriedades para trabalhar com a descoberta de tópicos. Uma mensagem de indexação de pesquisa em andamento pode aparecer, mas você ainda pode testar enquanto a indexação de pesquisa é executada, embora a descoberta de tópicos possa não ser atualizada. Para obter mais informações sobre como os resultados do Genius funcionam, consulte Now Assist in AI Search.

Além disso, ao testar tópicos ativos do assistente do LLM na página Tópicos, você verá os resultados de habilidades da Pesquisa semântica. A Pesquisa semântica analisa os significados e o contexto dos termos de pesquisa e usa essas informações para encontrar resultados com significados semelhantes. Ela melhora a recuperação das pesquisas com interpretações da linguagem natural que refletem com mais precisão a intenção da pesquisa. Se a Pesquisa semântica for desativada para o teste de descoberta de tópicos, esses resultados não serão exibidos. Para mais informações sobre pesquisa semântica, consulte Semantic vector search in AI Search.

Figura 4. Exemplo da guia Analisar frases de teste para tópicos de LLM

Modificar guia de instruções

Se o seu tópico contiver instruções enviadas para o LLM, elas serão mostradas na categoria Nós. A categoria Nós lista os nós de entrada do usuário do LLM na tela, seus nomes de campo e seu conteúdo.

Você pode modificar o conteúdo de qualquer uma das instruções para desenvolver instruções ideais para a conversa. Se um nó tiver Impor prompt do usuário ativo, um ícone de verificação azul e uma mensagem de Prompt do usuário imposto é exibida. Desative Impor aviso do usuário para modificar as instruções do nó.

Se qualquer uma das entradas do usuário tiver Permitido preenchimento automático de slot ativado, a Descrição Detalhada da entrada se tornará um campo estático. Se Permitir preenchimento automático de slot estiver inativo, você poderá definir a descrição detalhada usando um script ou seletor de cápsula de dados. Para obter mais informações, consulte a entrada da tabela Permitir preenchimento automático de slot em Controle de texto de entrada do usuário ou qualquer outro controle de entrada do usuário do LLM.

O status de cada instrução começa em Original. Se você alterar o conteúdo de uma instrução, seu status será alterado para Modificado e um ícone de reversão aparece ao lado dele. O número total de instruções modificadas é listado na parte inferior da guia ao lado de um botão Salvar no tópico. Para testar as instruções modificadas, selecione Aplicar e reiniciar. Para desfazer mudanças em uma instrução, selecione o ícone de reversão ao lado da instrução. Como alternativa, desfaça todas as mudanças selecionando Reverter que é ativado quando você modifica qualquer instrução.

Nota:

Se você selecionar Salvar no tópico, todas as mudanças serão salvas e todas as mensagens Modificadas serão redefinidas para Original.

Figura 5. Exemplo da guia Instruções de modificação

Figura 6. Exemplo da guia Instruções de modificação com uma modificação

Se as instruções em um nó incluírem conteúdo potencialmente ofensivo, um crachá de aviso aparecerá no nó. Um ícone de aviso amarelo também aparece ao lado do nome do nó. Selecionar Aplicar e reiniciar insere essas instruções e remove o selo e o ícone, e o status Modificado é revertido para Original.

Figura 7. Exemplo da guia Modificar instruções com avisos de conteúdo potencialmente ofensivo

Guia Variáveis

A guia Variáveis exibe uma lista de todas as variáveis usadas na conversa e os valores associados capturados conforme o andamento da conversa, para que você possa acompanhar. Uma conversa pode ter estes tipos de variáveis:

• Variáveis de entrada
• Variáveis de script
• Variáveis do Atendente
• Variáveis passadas entre um tópico de chamada e um bloco de tópicos

A lista é separada em seções de tipos de variável. O exemplo a seguir mostra a seção Variáveis de entrada. Observe que, para o controle de lista estática, o rótulo de exibição e o valor são capturados para a opção selecionada.

Figura 8. Exemplo de lista de variáveis de entrada

O exemplo a seguir mostra a seção Variáveis de entrada para o controle de lista agrupada. Essas informações de variável são exibidas semelhantes ao controle de lista estática, mas as variáveis são separadas por cada grupo da opção agrupada.

Figura 9. Exemplo de lista de variáveis de opção agrupadas

Guia Editar variáveis

Ao testar blocos de tópico e controles personalizados, você pode editar as variáveis encontradas nos nós.

Guia Contexto

A guia Contexto aparece quando você está testando tópicos, tópicos de configuração ou tópicos de conversa superficial, para especificar um contexto diferente para o bate-papo. Escolha uma variável de contexto na lista. As variáveis contêm informações contextuais que podem ser usadas para determinar a intenção do tópico ou controlar como os bate-papos são encaminhados para atendentes. Por exemplo, você pode selecionar portal na lista de variáveis e inserir o nome do portal, IT Express. A guia Contexto não está disponível ao criar casos de teste.

Para obter mais informações sobre como definir variáveis de contexto, consulte Como configurar variáveis de contexto para armazenar informações relacionadas ao bate-papo. Para obter mais informações sobre variáveis de agente dinâmico incluídas com Virtual Agent, consulte Variáveis de contexto do atendente..

Figura 10. Exemplo de guia de contexto

Próximas etapas

Quando terminar de testar seu tópico, feche a janela de bate-papo de teste. Se necessário, use as informações de teste para ajustar o tópico para um desempenho mais preciso. Por exemplo, os resultados na guia Analisar frases do teste podem retornar pontuações baixas ou classificações de confiança Incerto ou Desconhecido. Melhore as pontuações atualizando a descrição do tópico ou as instruções nos nós de entrada do usuário do LLM.