Fluxo de avaliação

  • Versão de lançamento: Zurich
  • Atualizado 2 de set. de 2025
  • 3 min. de leitura

    • O fluxo de trabalho para execução de avaliação, que executa avaliações quando as conversas são concluídas.

    As conversas são avaliadas usando a seguinte lógica:

    1. Captura de conversa:

      Todas as interações do usuário final com o virtual agent são registradas na tabela de conversa [sys_cs_conversation]. Quando um usuário encerra a conversa, o estado do registro é atualizado para Concluído.

    2. Gatilho de avaliação de fluxo automatizado:

      Nome do fluxo: Executar avaliação.

      Condição do gatilho:
      • Tabela: Tabela de conversa [sys_cs_conversation]
      • Estado: Concluído
      • Tipo de dispositivo: Cliente Web, Slack, Teams, Bot para Bot, Messenger

    Sequência de execução :

    Ação 1: EvalExecuteCondition
    • Invoca o. EvalExecuteCondition.executeEvaluation Inclusão de script com referência de conversa.
    • Gera um número aleatório (1 a 100). Prossegue somente se ≤10 (amostragem aleatória de 10%).
    • Resultado: Retorna verdadeiro ou falso para processamento posterior.
    Ação 2: Ramificação condicional
    • Se verdadeiro: Prossiga para a próxima ação.
    • Se falso: A avaliação é interrompida.

    Ação 3: Tabela de interação de pesquisa:

    Corresponde os metadados do canal da conversa com a tabela de interação para buscar registros relacionados.

    Ação 4: Filtro de escopo da aplicação:

    Se o escopo da aplicação da interação não incluir rh , continuar.

    Ação 5: Avaliação do classificador de bate-papo
    • Cria a transcrição inicial de sys_cs_message.
    • Usa o classificador de tópico de bate-papo para determinar:
      • A conversa deve ser avaliada? (Executar Evaluation: Verdadeiro/falso)
      • Nome do Tópico
      • Categoria (TI/RH)
    • Se Executar Evaluation for verdadeiro: Prossiga para a ação 6.

    Ação 6: BuildTranscript:

    Construção de transcrição detalhada:
    • Marcadores: [Usuário]: Para mensagens do usuário, [Virtual Agent]: Para mensagens do Virtual Agent.
    • Para qualquer referenciado Knowledge artigo:
      • Extrai o corpo completo do artigo para substituir o resultado do Genius, marcado com : Artigos de ajuda para consulta do usuário: E delimitados por Article_Start/Article_End.
      • . Knowledge o artigo está no escopo de RH/inacessível, ignore a avaliação.
      • . Knowledge O conteúdo do artigo é > 10 000 palavras: Truncar em 10 000.
      • Arquivos anexados (PDF/Word/TXT): Use o resultado do Genius.
    • Para Itens do catálogo referenciados:

      Extrai nome, descrição resumida, descrição, anotada como [Virtual Agent]: Escolha uma das opções abaixo: com número de citação.

    • Se a primeira mensagem for para o atendente ou o atendente for invocado nas primeiras 120 palavras: Ignorar avaliação.
    Saídas:
    • ExecuteEvaluation (verdadeiro/falso)
    • Transcrição do chat
    • Knowledge artigos ou itens do catálogo referenciados
    • Sys_id da primeira invocação do atendente (se houver)
    • Lista de habilidades a serem invocadas (todas as habilidades de avaliação do painel Avaliação)
    • Logs de avaliação adicionais

    Ação 7: Ramificação condicional:

    Se Executar Evaluation for verdadeiro: Prossiga para a Ação 8.

    Ação 8: Criar ou atualizar registro de avaliação:

    Criar um registro na tabela Avaliação [sn_na_conv_eval_evaluation] com:
    • Conversa do documento: Referência da conversa
    • Estado: Processando
    • Tópico, Categoria, Knowledge referências de artigo ou catálogo, sys_id do primeiro atendente, tipo, usuário que iniciou, log de mensagens

    Ação 9: Para cada habilidade:

    Repete para cada habilidade sinalizada na Ação 6.

    Ação 10: InvokeApiDefinition
    • Entradas: Nome da habilidade, conversa, transcrição, ID de avaliação
    • Chamadas Now Assist API de habilidades de forma assíncrona.
    • O pós-processamento disponível em sys_generative_ai_response_validator executa a seguinte análise:
      • Pontuação
      • Motivo da pontuação
      • Exemplos para o raciocínio
    • Os dados analisados são criados na tabela Métricas de avaliação [sn_na_conv_eval_evaluation_metrics] (Pontuação, motivos, exemplos e todo o motivo da pontuação [Bloco de anotações]).

    Ação 11: Espera 7 segundos antes de continuar para a próxima habilidade.

    Comportamento especial e tratamento de casos de borda:
    • Amostragem: Apenas 10% das conversas (escolhidas aleatoriamente) são avaliadas.
    • Filtro de canal: Somente Web, Slack, Teams, Bot para Bot, Messenger.
    • Escopo da aplicação: Exclui registros com _hr_ no escopo.
    • Knowledge Controles do artigo: Sem avaliação para RH ou inacessível. Knowledge limites de artigos em Knowledge tamanho do artigo e manipulação de arquivos.
    • Primeira invocação do atendente: Exclui conversas roteadas para o atendente no início ou com até 120 palavras.
    • A habilidade de conclusão de solicitação é adicionada como parte de uma regra de negócios em que a pontuação é marcada como a mais baixa entre preenchimento de slot e intenção.
    • O motivo no registro é adicionado da seguinte forma:
      if (Slot filling score > Intent score) {
Intent reason is used
} else if (Slot filling score < Intent score) {
Slot filling reason is used
} else {
Both are used
}