Fluxo de avaliação para avaliações em lote

A avaliação em lote permite que os administradores de avaliação avaliem até 100 conversas concluídas do Virtual Agent de uma só vez, com base em uma consulta salva.

Nome do fluxo: Executar avaliação em lote.

O fluxo cria registros de avaliação e invoca Now Assist habilidades para cada conversa qualificada, espelhando a lógica de avaliação de conversa única, mas em escala. Impõe exclusões de escopo de RH, validação de tópico/categoria, regras de construção de transcrição, exclusões antecipadas de atendentes e pontuação assíncrona por meio de habilidades.

As avaliações em lote são realizadas usando a seguinte lógica:

Gatilho

• Tabela: Conjunto de avaliação [sn_na_conv_eval_evaluation_set]
• Condição: O estado muda para Em andamento e Tipo de avaliação é Conversa

Entradas

• Registro do conjunto de avaliação com:
  • Filtro de consulta: Uma consulta que visa conversas a serem avaliadas (por exemplo, filtros sys_cs_conversation).
  • Tipo de avaliação: Conversa
  • Estado: Em andamento (para iniciar)
• LLM/Habilidades: Classificador de tópicos de bate-papo, além das habilidades de avaliação listadas após isso.

Comportamento de alto nível

• Lê o filtro de consulta e extrai amostras aleatórias de até 100 conversas.
• Ignora conversas já avaliadas.
• Exclui interações com escopo de RH.
• Usa o Classificador de tópico de bate-papo para validar a qualificação da avaliação e extrai Tópico e Categoria.
• Cria uma transcrição com inclusão controlada de Knowledge artigos e fontes de catálogo e aplica exclusões antecipadas do atendente.
• Cria um registro de Avaliação e invoca de forma assíncrona todas as habilidades de avaliação selecionadas, escrevendo pontuações e justificativa para métricas.

Sequência de execução :

Ação 1: Se o filtro de consulta não estiver vazio

• Cláusula de guarda.
• Lógica: PESQUISE o registro do Conjunto de avaliação e verifique o campo de filtro de consulta.
• Se o filtro de consulta estiver presente: Prossiga para a Ação 2.
• Se estiver vazio: Pare e, opcionalmente, registre em log Nenhuma consulta fornecida.

Ação 2: Conversas aleatórias

• Selecione uma amostra limitada e aleatória de conversas da consulta fornecida.
• Lógica:
  • Execute a consulta para obter registros de conversa correspondentes.
  • Selecione aleatoriamente até 100 conversas.
    • Se > 100 corresponder, limite em 100.
    • Se for menor que 100, selecione Todos.
  • Valide a consulta; se inválida, retorne falso e uma matriz vazia ou parcial.
• Saídas:
  • verdadeiro/falso
  • conversation_ids: matriz de sys_ids (máx. 100)
• Se o sucesso for verdadeiro: Prossiga para a Ação 3; caso contrário, interrompa e registre o erro de validação.

Ação 3: PESQUISE a tabela de avaliação para verificar a avaliação anterior

• Evitar avaliações duplicadas.
• Lógica: Para cada sys_id de conversa, verifique sn_na_conv_eval_evaluation para registros existentes indicando que ele já está avaliado ou está em andamento (opção de implementação: estado não em cancelado/reprovado).
• Se não tiver sido avaliado anteriormente: Prossiga para a Ação 4 para essa conversa.
• Se já avaliado: Ignore esta conversa e, opcionalmente, registre-se Já avaliado .

Ação 4: Pesquisar o registro de interação

• Impor exclusão do escopo de RH.
• Lógica: Resolva a interação relacionada à conversa. Se o escopo da aplicação contiver rh ignorar a conversa.
• Se o escopo não contiver rh : Prosseguir para a Ação 5.

Ação 5: Avaliação do classificador de bate-papo

• Validar se a conversa deve ser avaliada e extrair rótulos de alto nível.
• Lógica:
  • Crie uma transcrição leve de sys_cs_message para entrada de classificação.
  • Invoque a habilidade do classificador de tópico de bate-papo com a transcrição.
  • Receber:
    • Executar avaliação: Verdadeiro/falso
    • Nome do Tópico
    • Categoria: TI ou RH
• Se Executar avaliação for verdadeiro: Prossiga para a ação 6.
• Se falso: Ignore a conversa e registre a decisão do classificador.

Ação 6: BuildTranscript

• Objetivo: Criar a transcrição final em nível de minuto e determinar o conjunto de habilidades downstream e as proteções.
• Etapas:
  • Agregar todas as mensagens de conversa.
  • Marcar mensagens do usuário como [Usuário]: e mensagens do virtual agent como [Virtual Agent]: .
  • Knowledge artigos:
    • Se os resultados do Genius fazem referência Knowledge artigos, consulte Knowledge e substitua o snippet do genius por todo o corpo do artigo.
    • Anote com : Artigos de ajuda para consulta do usuário: E encapsulam o conteúdo em Article_Start e Article_End.
    • Restrições:
      • Se a base de conhecimento estiver com escopo de RH ou inacessível, não avalie (ignore a conversa).
      • Trunque o corpo do artigo para um máximo de 10 000 palavras.
      • Se a origem do conteúdo da base de conhecimento for arquivos anexados (PDF/Word/TXT), retorne para o resultado do Genius em vez do conteúdo completo do arquivo.
  • Itens do catálogo:
    • Se os resultados do Genius fizerem referência a itens do catálogo, consulte sc_cat_item e crie uma cadeia de caracteres: Nome do catálogo, descrição resumida e descrição.
    • Anote com [Virtual Agent]: Escolha uma das opções abaixo: e incluem ordem de citação.
  • Exclusões do atendente:
    • Se a primeira mensagem do usuário solicitar um atendente, ignore a avaliação.
    • Se um atendente for invocado nas primeiras 120 palavras, ignore a avaliação.
• Saídas:
  • ExecuteEvaluation: Verdadeiro/falso (resultado pós-proteção)
  • Transcrição de bate-papo
  • Knowledge artigos referenciados
  • Itens do catálogo referenciados
  • Primeira ocorrência do atendente: Sys_id da mensagem de conversa (se presente)
  • Habilidades a serem invocadas:
    • Avaliação de bate-papo de coerência
    • Avaliação do bate-papo de concisão
    • Retenção de contexto
    • Avaliação de bate-papo de preenchimento de slot inadequado
    • Avaliação do bate-papo de precisão da intenção
    • Avaliação de bate-papo de conversa com fluxo suave
    • Verdade alucinação Bate-papo Eval
  • Logs adicionais
• Se Executar Evaluation for verdadeiro: Prossiga para a Ação 7; caso contrário, ignore a conversa.

Ação 7: Se bloquear

• Ramificação para criação de registro.
• Lógica: Se Executar Avaliação da Ação 6 for verdadeiro, vá para a Ação 8.

Ação 8: Criar ou atualizar registro de avaliação

• Persistir uma entrada de avaliação para esta conversa.
• Tabela: sn_na_conv_eval_evaluation
• Preenchimento do campo:
  • Conversa do documento: Referência da conversa
  • Estado: Processando
  • Tópico: Da Ação 5
  • Ação: Da Ação 5
  • Base de conhecimento referenciada: Da ação 6
  • Catálogo referenciado: Da ação 6
  • Primeira ocorrência do atendente: Da ação 6
  • Tipo: Resumo do bate-papo
  • Usuário: Usuário que inicia a conversa
  • Log de mensagens: Logs adicionais da ação 6
• Em caso de sucesso: Prossiga para a ação 9.

Ação 9: Para habilidades de loop over

• Executar cada habilidade de avaliação selecionada.
• Para cada habilidade na lista da Ação 6:
  • Ação 10: InvokeApiDefinition
    • Entradas: Nome da habilidade, Conversa, Transcrição, ID de avaliação
    • Comportamento:
      • Invoque o. Now Assist habilidade assíncrona.
      • O pós-processador grava os resultados em sys_generative_ai_response_validator.
      • Extrair campos de resposta JSON:
        • Pontuação
        • Motivo da pontuação
        • Exemplos que apoiam o raciocínio
      • Crie registros de métrica secundários em sn_na_conv_eval_evaluation_metrics vinculados à avaliação primária.
  • Ação 11: Aguarde

    Pause sete segundos antes de prosseguir para a próxima habilidade para gerenciar limites de taxa ou limitação.