Respostas de streaming de bate-papo

Fluxo de respostas sintetizadas em tempo real para Now Assist Conversas de bate-papo do LLM em vez de aguardar a renderização da mensagem inteira. O streaming permite que as respostas do LLM sejam enviadas imediatamente para ajudar a melhorar o desempenho ao responder a solicitações.

Fluxo de mensagens de resposta do LLM para respostas sintetizadas como eles são gerados em vez de aparecer todos de uma vez para os usuários finais. Fluxo de respostas em uma letra ou uma palavra de cada vez. Depois que os usuários finais inserem uma pergunta ou solicitação no bate-papo, as respostas sintetizadas começam a ser transmitidas e param de transmitir depois que a mensagem completa é entregue. Durante a geração da resposta, várias mensagens de carregamento (como Gerando uma resposta ) aparecem. Para obter mais informações e exemplos de carregamento de mensagens, consulte Feedback de latência em Virtual Agent. Um brilho animado o ícone aparece enquanto a resposta está sendo gerada. O brilho animado o ícone muda para a marca estática Virtual Agentícone após a resposta ser totalmente carregada.

Dica:

Para desativar o ícone de brilho animado durante a transmissão, defina sn_nowassist_va.nass_animated_avatar_enabledpara falso Na tabela Propriedade do sistema [sys_properties]. Quando o ícone de faísca animado está desativado, as mensagens de carregamento são seguidas por reticências animadas ícone. Para obter mais informações sobre esta propriedade do sistema, consulte Available system properties.

Para bate-papo padrão, o. Mostrar mais o link aparece depois que seis linhas de texto são transmitidas. Selecionando Mostrar mais transmite o restante da mensagem até que a mensagem completa seja entregue.

Figura 1. Exemplo de um bate-papo padrão transmitido sintetiza a resposta totalmente carregada

Para bate-papo aprimorado, a transmissão é aplicável à resposta sintetizada sempre que aplicável. Quando a transmissão é concluída, toda a resposta sintetizada é exibida, em vez de uma resposta truncada, na janela de bate-papo ou no bate-papo aprimorado. A resposta sintetizada pode ser transmitida na janela de bate-papo ou na página de resultados de pesquisa do portal, bem como no bate-papo aprimorado Now Assist guia.

Para habilitar o streaming, configure seus assistentes de IA para transmitir respostas durante Now Assist em Virtual Agent configuração assistida. Para obter mais informações, consulte Visão geral da configuração de assistentes.

Importante:

O recurso de streaming não está disponível quando a tradução dinâmica está ativada. Para habilitar a transmissão, a tradução dinâmica deve ser desativada.