Testar tópicos de LLM
Visualize, teste e depure tópicos que usam modelos de linguagem grandes (LLMs) na janela de bate-papo do Designer do Virtual Agent.
Você pode testar as funções do seu tópico executando sua conversa em uma janela de teste de bate-papo enquanto trabalha. O cliente de bate-papo da Web (Portal de serviços) é a janela de teste padrão.
Os tópicos do modelo de linguagem grande (LLM) são mais rápidos e fáceis de testar se comparados com os tópicos Compreensão da linguagem natural (NLU). Por exemplo, você não precisa testar outras vezes o tópico depois de atualizar enunciados e modelos de retreinamento como nos tópicos NLU.
Se você estiver usando as Integrações com Virtual Agent com aplicações de envio de mensagens de terceiros, os elementos em sua conversa poderão ser exibidos de forma diferente em aplicações de envio de mensagens de terceiros. Teste suas conversas em qualquer aplicação de terceiros onde você deseja implantar Virtual Agent.
Como testar seu tópico de LLM na janela de teste de bate-papo
Você pode encontrar opções de teste de LLM no Designer do Virtual Agent tela e a página inicial. A janela de teste de bate-papo é aberta no Now Assist em Virtual Agent widget de bate-papo. A lista suspensa Assistente e Incluir descoberta de tópico A opção pode ser exibida dependendo de onde você originou o teste e se você estabeleceu algum assistente de LLM.
Testar tópicos de LLM no Designer do Virtual Agent trabalhando com Teste opção na barra de cabeçalho do tópico. Ao testar a partir de um único tópico, o. Incluir descoberta de tópico a opção deve ser selecionada para trabalhar com os assistentes. Se o tópico estiver associado a vários assistentes de LLM, use a lista suspensa Assistente para selecionar qual assistente você deseja testar. Para obter mais informações sobre assistentes de LLM, consulte Assistentes do LLM.
Como alternativa, você pode testar tópicos de LLM ativos (publicados) na página inicial. Selecione um assistente para restringir seus tópicos somente a tópicos associados a esse assistente e selecione Assistente de teste . Ao testar na página inicial, a descoberta de tópicos é habilitada, portanto, não é listada como uma opção. A lista suspensa Assistente aparece na janela de teste de bate-papo. Pelo menos o padrão deve ser estabelecido anteriormente Now Assist em Virtual Agent assistente para ver a lista suspensa Assistente. Quando um tópico é associado a apenas um assistente de LLM, a lista suspensa Assistente é padronizada para esse nome de assistente. Se você tiver vários assistentes, selecione com qual assistente você deseja trabalhar usando a lista suspensa Assistente. Para obter mais informações sobre como criar vários assistentes de LLM, consulte Gerencie agentes virtuais do LLM na tela Assistentes.
Você pode fornecer feedback para cada enunciado feito pelo LLM selecionando no ícone Curtir polegar para cima 
ícone de polegar para baixo ou não gosto 
opções que aparecem quando você passa o mouse sobre um enunciado. Todas as entradas do usuário do LLM, exceto o Coletor de entrada, têm essas opções de feedback.
A janela de teste de bate-papo também exibe guias adjacentes que fornecem detalhes sobre o tópico conforme você o testa. As guias a seguir estão disponíveis ao testar tópicos do LLM:
- Analisar frases de teste: resultados da descoberta de tópicos com base na sua entrada.
- Modificar instruções - Lista de todas as instruções no tópico que são enviadas para o LLM. Esta guia só está disponível ao testar um único tópico.
- Variáveis: lista de todas as variáveis usadas na conversa, como variáveis de entrada e do Atendente.
- Editar variáveis: opções para editar as variáveis usadas neste tópico.
- Contexto: opções para especificar o contexto (usando variáveis de contexto) no qual um tópico será executado.
- Logs: lista do processamento realizado.
- . Analisar frases de teste , Modificar instruções , Variáveis e Logs Aparecem guias para todos os tipos de tópico LLM.
- A guia Editar variáveis é exibida para blocos de tópicos e controles personalizados.
- . Contexto aparece para tópicos, tópicos de configuração ou tópicos de conversa superficial quando você seleciona Incluir descoberta de tópico .
Se você executar testes na página Tópicos, a janela de teste mostrará somente Analisar frases de teste , Variáveis , Contexto (disponível por padrão, sem Incluir descoberta de tópico , e. Logs guias.
Analisar a guia de frases do teste
Quando você testa tópicos de LLM, os resultados da descoberta de tópicos aparecem com base na sua entrada. Ao testar tópicos associados a um assistente de LLM primário, somente os tópicos promovidos do assistente primário são exibidos. Ao inserir uma frase de teste, você pode ver uma variedade de resultados de pesquisa quando o Genius for exibido estão habilitados, incluindo descoberta de habilidade (tópico), Base de conhecimento(KB) artigos e itens do catálogo. Nos resultados da pesquisa de habilidades, . Matchingo selo aparece ao lado da habilidade descoberta, enquanto variáveis e valores também podem ser listados (como a variável @laptop_makee o valor macbookdependendo do tópico . Esses resultados do Genius só aparecem se você estiver testando um tópico publicado e tiver selecionado Incluir descoberta de tópico opção. . Incluir descoberta de tópico A opção aparece inativa, publique o tópico e selecione um assistente de LLM na guia Propriedades para trabalhar com a descoberta de tópicos. . Indexação de pesquisa em andamento a mensagem pode ser exibida, mas você ainda pode testar enquanto a indexação de pesquisa é executada, embora a descoberta de tópico possa não ser atualizada. Para obter mais informações sobre como funcionam os resultados do Genius, consulte Now Assist in AI Search.
Além disso, ao testar tópicos ativos do assistente de LLM na página Tópicos, você vê os resultados de habilidades para a pesquisa semântica. A Pesquisa semântica analisa os significados e o contexto dos termos de pesquisa e usa essas informações para encontrar resultados com significados semelhantes. Ela melhora a recuperação das pesquisas com interpretações da linguagem natural que refletem com mais precisão a intenção da pesquisa. Se a Pesquisa semântica for desativada para o teste de descoberta de tópicos, esses resultados não serão exibidos. Para mais informações sobre pesquisa semântica, consulte Semantic vector search in AI Search.
Guia Modificar instruções
Se o tópico contiver instruções enviadas para o LLM, elas serão mostradas na categoria Nós. A categoria Nós lista os nós de entrada do usuário do LLM na tela, seus nomes de campo e seu conteúdo.
Você pode modificar o conteúdo de qualquer uma das instruções para desenvolver instruções ideais para a conversa. Se um nó tiver Impor prompt do usuário ativo, um ícone de verificação azul 
e um Prompt do usuário imposto a mensagem é exibida. Desativar Impor prompt do usuário para modificar as instruções do nó.
Se alguma das suas entradas do usuário tiver Permitir preenchimento automático de slot Ativada, a Descrição detalhada da entrada se torna um campo estático. Se Permitir preenchimento automático de slot está inativo, você pode definir a descrição detalhada usando um script ou seletor de cápsula de dados. Para obter mais informações, consulte a entrada da tabela Permitir preenchimento automático de slot em Controle de texto de entrada do usuário Ou qualquer outro controle de entrada do usuário LLM.
aparece ao lado dele. O número total de instruções modificadas é listado na parte inferior da guia ao lado de um Salvar no tópico botão. Para testar as instruções modificadas, selecione Aplicar e reiniciar . Para desfazer mudanças em uma instrução, selecione o ícone Reverter ao lado da instrução. Como alternativa, desfaça todas as mudanças selecionando Reverter que é ativado quando você modifica qualquer instrução.A imagem a seguir mostra o. Modificar instruções Guia que mostra informações do usuário com o link de diretrizes de instrução LLM e nós mantidos em um coletor de entrada, incluindo um nó bloqueado com a mensagem Solicitar do usuário é imposto.
A imagem a seguir mostra o. Modificar instruções Guia com instruções modificadas e Salvar em atualizações de tópico. . Reverter e. Aplicar e reiniciar as opções são ativadas quando você faz mudanças.
Se as instruções em um nó incluírem conteúdo potencialmente ofensivo, um selo de aviso será exibido no nó. Um ícone de aviso amarelo 
aparece ao lado do nome do nó. Selecionando Aplicar e reiniciar insere essas instruções e remove o selo e o ícone e o. Modificado o status é revertido para Original .
A imagem a seguir mostra o. Modificar instruções guia que mostra o selo de aviso de conteúdo ofensivo, ícones e mensagem de foco.
Guia Variáveis
- Variáveis de entrada
- Variáveis de script
- Variáveis do Atendente
- Variáveis passadas entre um tópico de chamada e um bloco de tópicos
O exemplo a seguir mostra a seção Variáveis de entrada para o controle de lista agrupada. Essas informações de variável são exibidas semelhantes ao controle de lista estática, mas as variáveis são separadas por cada grupo da opção agrupada.
Guia Editar variáveis
Ao testar blocos de tópicos e controles personalizados, você pode editar as variáveis encontradas nos nós.
Guia Contexto
A guia Contexto aparece quando você está testando tópicos, tópicos de configuração ou tópicos de conversa superficial, para especificar um contexto diferente para o bate-papo. Escolha uma variável de contexto na lista. As variáveis contêm informações contextuais que podem ser usadas para determinar a intenção do tópico ou controlar como os bate-papos são encaminhados para atendentes. Por exemplo, você pode selecionar portal na lista de variáveis e inserir o nome do portal, IT Express. A guia Contexto não está disponível ao criar casos de teste.
Para obter mais informações sobre como definir variáveis de contexto, consulte Como configurar variáveis de contexto para armazenar informações relacionadas ao bate-papo. Para obter mais informações sobre variáveis de agente dinâmico incluídas com Virtual Agent, consulte Variáveis de contexto do atendente..
Próximas etapas
Quando terminar de testar seu tópico, feche a janela de bate-papo de teste. Se necessário, use as informações de teste para ajustar o tópico para um desempenho mais preciso. Por exemplo, os resultados na guia Analisar frases do teste podem retornar pontuações baixas ou classificações de confiança Incerto ou Desconhecido. Melhore as pontuações atualizando a descrição do tópico ou as instruções nos nós de entrada do usuário do LLM.