Painel de Análise do agente de IA

Funções necessárias de ServiceNow AI Platform

Para usar o painel Análise do agente com IA, você deve ter a função sn_aia.viewer ou sn_aia.admin.

Se você quiser mudar o painel, deverá duplicá-lo e aplicar mudanças à cópia. Você pode redirecionar a página Análise no AI Agent Studio para o novo painel substituindo o sys_id do painel na propriedade do sistema sn_aia.analytics_dashboard_sysid.

Acessando o. Análise de agente com IA painel

Para abrir o painel, navegue até Tudo > Studio do agente de IA > Análise.

Você também pode acessar o painel no Estúdio de agentes de IA página visão geral. Vá para a seção de atividade Fluxos de trabalho do agente e agentes de IA recentes e selecione Exibir análise link.

Indicadores

A maioria dos indicadores é atualizada diariamente. Os indicadores de latência são atualizados a cada 15 minutos.

Depois de ter instalado Now Assist Agentes de IA, você pode coletar dados iniciais executando [ Now Assist Trabalho de coleta de dados históricos. Os outros trabalhos de coleta de dados, [ Now Assist Coleta diária de dados e [ Now Assist Coleta periódica de dados, atualize os indicadores.

Tabela 1. Indicadores automatizados para agentes de IA
Nome	Descrição
Latência do fluxo de trabalho agentivo	Tempo necessário para que um fluxo de trabalho do agente seja concluído.
Latência do plano de execução do agente de IA P90	Tempo necessário para que 90% dos planos de execução do agente de IA em um sistema sejam processados.
Latência do plano de execução do agente de IA P95	Tempo necessário para que 95% dos planos de execuções de agentes de IA em um sistema sejam processados.
Latência P99 do plano de execução do agente de IA	Tempo necessário para que 99% dos planos de execução do agente de IA em um sistema sejam processados.
Latência do agente de IA	Tempo necessário para que um agente de IA em um sistema seja processado.
Todos os fluxos de trabalho do agente	Número total de fluxos de trabalho do agente criados antes de hoje.
Todos os agentes de IA	Número total de agentes de IA criados antes de hoje.
Todas as ferramentas	Número total de ferramentas criadas antes de hoje.
Latência do LLM P90	Tempo necessário para que 90% das solicitações de LLM em um sistema sejam processadas.
LLM P95 latência	Tempo necessário para que 95% das solicitações de LLM em um sistema sejam processadas.
Latência do LLM P99	Tempo necessário para que 95% das solicitações de LLM em um sistema sejam processadas.
Número de tarefas encerradas	Número total de tarefas encerradas.
Número de tarefas encerradas com assistência do agente com IA	Número total de tarefas encerradas hoje que foram encerradas com fluxos de trabalho do agente ou agentes de IA.
Soma da duração das tarefas encerradas	Tempo total necessário para fechar tarefas.
Soma da duração das tarefas encerradas com assistência do agente com IA	Tempo total necessário para fechar tarefas hoje que foram encerradas com fluxos de trabalho do agente ou agentes de IA.
Execução da ferramenta latência P90	Tempo necessário para que 90% das execuções de ferramentas em um sistema sejam processadas.
Latência de P95 de execução da ferramenta	Tempo necessário para que 95% das execuções de ferramentas em um sistema sejam processadas.
Latência de P99 de execução da ferramenta	Tempo necessário para que 99% das execuções de ferramentas em um sistema sejam processadas.
Latência da ferramenta	Tempo necessário para que uma ferramenta em um sistema seja processada.
Número total de conversas de CS	Número total de conversas no painel do Now Assist ou no Virtual Agent.
Número total de planos de execução	Número total de planos de execução criados por fluxos de trabalho do agente e agentes de IA hoje.
Número total de tarefas de execução	Número total de tarefas executadas por fluxos de trabalho do agente e agentes de IA hoje.
Número total de execuções de ferramentas	Número total de execuções de ferramentas em fluxos de trabalho do agente e agentes de IA hoje.
Latência do plano de execução de caso de uso P90	Tempo necessário para que 90% dos fluxos de trabalho do agente em um sistema sejam processados.
Latência P95 do plano de execução de caso de uso	Tempo necessário para que 95% dos fluxos de trabalho do agente em um sistema sejam processados.
Latência P99 do plano de execução de caso de uso	Tempo necessário para que 99% dos fluxos de trabalho do agente em um sistema sejam processados.

Tabela 2. Indicadores de fórmula para agentes de IA
Nome	Descrição
Percentual de conversas com um agente de IA ou fluxo de trabalho do agente definido	Número de conversas no painel do Now Assist ou no Virtual Agent com um fluxo de trabalho do agente ou do agente de IA definido dividido pelo número total de conversas.
Tempo médio para fechar uma tarefa	Tempo médio necessário para uma tarefa ir da criação ao fechamento.
Tempo médio para fechar uma tarefa com a assistência do agente com IA	Tempo médio necessário para uma tarefa ir da criação ao fechamento com um fluxo de trabalho de agente ou agente de IA envolvido.
Ganho de eficiência	Percentual de ganho de eficiência comparando o tempo médio necessário para encerrar uma tarefa com a assistência do agente com IA em relação a uma tarefa encerrada sem a assistência do agente com IA.
Percentual de tarefas encerradas usando agentes de IA	Número de tarefas encerradas usando agentes de IA e fluxos de trabalho do agente dividido pelo número total de tarefas.

Detalhamentos

Detalhamentos diferentes permitem dividir os dados de forma diferente para rastrear aspectos específicos do uso do agente de IA. Nem todos os detalhamentos estão disponíveis para todos os indicadores.

Fluxo de trabalho de agente
Agente de IA
Status da execução do agente de IA
Métrica de latência
Ferramenta
Métrica de latência da ferramenta

Filtros

Você pode filtrar dados para revisar um subconjunto de tendências. A tabela a seguir lista os filtros disponíveis no painel Análise do agente de IA.

Tabela 3. Filtros nas páginas do painel Análise do agente de IA
Página	Filtros disponíveis
Status	Hora da criação
Informações	Hora da criação Fluxo de trabalho de agente Agente de IA Tipo de agente de IA
Auxiliar consumo	Hora da criação Fluxo de trabalho de agente Agente de IA Tipo de agente de IA
Desempenho	Hora da criação Fluxo de trabalho de agente Agente de IA Tipo de agente de IA Ferramenta
Solução de problemas	Hora da criação

Visualizações de dados

Visualizações são elementos gráficos que podem ser usados para ver tendências de dados, porcentagens e pontuações. O painel Análise do agente de IA inclui as seguintes visualizações.

Tabela 4. Visualizações de dados na página de visão geral do painel Análise do agente de IA
Título	Tipo	Descrição
Média de CSAT inferida para agentes de IA nos últimos 7 dias	Cartão de pontuação	Pontuação gerada por IA que estima como um cliente classificaria a resposta da IA. sendo 1 o usuário está extremamente insatisfeito e 5 sendo o usuário está extremamente satisfeito com a interação.
Tarefas de execução nos últimos 7 dias	Gráfico de pizza	Tarefas de execução divididas por status (sucesso, em andamento, cancelado, em fila).
Erros do agente de IA nos últimos 90 dias	Gráfico de linhas	Número de erros vistos por agentes de IA nos últimos 90 dias, detalhados por semana.
Tipo de ferramenta de agente de IA	Gráfico de pizza	Ferramentas divididas por tipo. Exemplo: Script, ação de fluxo, subfluxo e assim por diante.
Modo de execução da ferramenta do agente de IA	Gráfico de pizza	Ferramentas divididas pelo modo de execução autônomo ou supervisionado.
Planos de execução nos últimos 7 dias	Gráfico de pizza	Planos de execução divididos por status (Concluído, Encerrado, Encerrado ou Em andamento)
Execuções de agente de IA	Lista	Lista de execuções de agentes de IA. A lista é dividida por agente de IA e status de execução do agente de IA. As colunas se estendem por várias semanas e há porcentagens de mudança e linhas de tendência comparando a atual com a semana anterior.
Número de fluxos de trabalho agentivos	Linha de tendência	Número total de fluxos de trabalho do agente. Os fluxos de trabalho do agente criados no último dia e uma linha de tendência são mostrados.
Número de agentes de IA	Linha de tendência	Número total de agentes de IA. Os agentes de IA criados no último dia e uma linha de tendência são mostrados.
Número de ferramentas	Linha de tendência	Número total de ferramentas. As ferramentas criadas no último dia e uma linha de tendência são mostradas.
Planos de execução de agente de IA	Lista	Lista de planos de execução do agente de IA. A lista é dividida por fluxo de trabalho do agente. As colunas se estendem por várias semanas e há porcentagens de mudança e linhas de tendência comparando a atual com a semana anterior.

Tabela 5. Visualizações de dados na página de status do painel Análise do agente de IA
Título	Tipo	Descrição
Planos de execução de agente de IA	Cartões de pontuação	Quatro cartões de pontuação, um para cada status do plano de execução (Pronto, Em andamento agora, Concluído e Encerrado).
Execuções de agente de IA	Cartões de pontuação	Quatro cartões de pontuação, um para cada status do plano de execução (Em andamento no momento, Concluído, Bem-sucedido e Erros/Cancelado).
Execuções de agente/ferramenta de IA	Lista	Lista de execuções de agentes e ferramentas de IA. A lista é dividida por agente de IA e ferramenta, e há colunas para cada status (Cancelado, Em andamento, Em fila e Sucesso).

Tabela 6. Visualizações de dados na página de valor do painel Análise do agente de IA
Título	Tipo	Descrição
Tarefas encerradas usando agentes de IA	Linha de tendência	Percentual de tarefas encerradas usando agentes de IA. A linha de tendência é mostrada.
Ganho de eficiência com fechamento de tarefa usando agentes de IA	Linha de tendência	Percentual de eficiência obtida com fluxos de trabalho do agente e agentes de IA. A linha de tendência é mostrada.
Tempo médio de encerramento assistido por agentes de IA	Linha de tendência	Tempo médio necessário para uma tarefa ir da criação ao fechamento com o envolvimento de um agente de IA ou fluxo de trabalho do agente de IA. A linha de tendência é mostrada.
CSAT inferido de agentes de IA	Cartão de pontuação	Pontuação de CSAT estimada calculada usando IA com base na qualidade subjetiva das respostas dos agentes de IA. sendo 1 o usuário está extremamente insatisfeito e 5 sendo o usuário está extremamente satisfeito com a interação.
CSAT da sessão inferida	Cartão de pontuação	Pontuação de CSAT estimada calculada usando IA com base nas interações gerais da sessão de um usuário. sendo 1 o usuário está extremamente insatisfeito e 5 sendo o usuário está extremamente satisfeito com a interação.
Transferências e escalações usando agentes de IA	Gráfico de barras	Uma pontuação estimada usando IA que indica se o usuário solicitou uma escalação ou se houve uma transferência para outro agente de IA ou humano.
Esforço do usuário necessário com agentes de IA	Gráfico de barras	Contagens de pontuações geradas por IA que medem o tempo e a energia que os usuários tiveram que gastar durante a interação com um agente de IA. Os valores estão em uma escala de 3 pontos de baixo, médio e alto.
Próximas etapas recomendadas pelo agente de IA	Gráfico de barras	Contagens de pontuações geradas por IA que indicam se o agente de IA revisou o resultado e forneceu instruções claras ou orientação sobre o que o cliente deve fazer em seguida, se aplicável. Os valores estão em uma escala de 3 pontos de baixo, médio e alto.
O agente de IA resolveu a solicitação dos usuários	Cartão de pontuação	Uma pontuação gerada por IA que indica se o agente de IA resolveu a solicitação do usuário. Os valores podem ser sim, não ou desconhecido.
Frustração do usuário com agentes de IA	Gráfico de barras	Uma pontuação gerada por IA que indica se o usuário expressou frustração em qualquer momento da conversa.
Empatia do agente de IA	Cartão de pontuação	Uma pontuação gerada por IA que indica se o agente de IA era empático e amigável. Os valores estão em uma escala de 3 pontos de baixo, médio e alto.
Confusão do usuário ou do agente de IA	Gráfico de barras	Contagens de uma pontuação gerada por IA que indica se o usuário ou agente de IA está confuso em qualquer ponto da conversa.
10 principais fluxos de trabalho agentivos com CSAT de sessão mais alta	Gráfico de barras	10 principais fluxos de trabalho do agente por pontuação de CSAT mais alta.
10 últimos fluxos de trabalho agentivos com CSAT de sessão mais alta	Gráfico de barras	10 fluxos de trabalho do agente inferiores por pontuação de CSAT.
Os 10 principais agentes de IA com o CSAT de sessão mais alto	Gráfico de barras	10 principais agentes de IA por pontuação de CSAT mais alta.
Os 10 últimos agentes de IA com o CSAT de sessão mais alto	Gráfico de barras	10 agentes de IA inferiores por pontuação de CSAT.
Conversas do agente de IA diariamente	Linha de tendência	Número total de conversas do agente com IA no painel do Now Assist ou no Virtual Agent. A linha de tendência é mostrada.
% De conversas usando agentes de IA	Linha de tendência	Percentual de conversas do agente de IA no painel do Now Assist ou no Virtual Agent que usaram fluxos de trabalho do agente ou agentes de IA. A linha de tendência é mostrada.
Indicadores de suporte do ganho de eficiência	Lista	Lista de indicadores. A lista é dividida por indicador. As colunas se estendem por um período de tempo.

Tabela 7. As visualizações de dados na página de consumo do painel Análise do agente de IA ajudam
Título	Tipo	Descrição
Soma das assistências do agente com IA	Cartão de pontuação	Número total de assistências usadas na instância para agentes de IA e fluxos de trabalho do agente.
Soma de assistências do agente de IA por nível	Gráfico de pizza	Totais e porcentagens de assistências divididos por nível. Uma assistência é marcada como pequena até que o número de execuções de ferramenta exceda 20.
Contagem de execuções de agentes de IA por nível de assistência.	Gráfico de pizza	Contagem de níveis de assistência para agentes de IA e fluxos de trabalho do agente. Uma assistência é marcada como pequena até que o número de execuções de ferramenta exceda 20.
10 principais fluxos de trabalho agentivos consumindo assistências	Gráfico de pizza	Porcentagens de assistências consumidas entre os 10 principais fluxos de trabalho do agente que consomem assistências.
Soma de assistências do agentes de IA	Gráfico de barras	Número total de assistências usadas por agentes de IA detalhados por dia.
Contagem de execuções do agente de IA por nível de assistência	Gráfico de barras	Contagem de assistências usadas por agentes de IA divididas por nível de assistência e dia.
Contagem de execuções de agentes de IA por fluxo de trabalho do agente	Gráfico de barras	Contagem de assistências usadas por agentes de IA divididas por fluxo de trabalho do agente.
Soma de assistências do agente de IA por agente de IA	Gráfico de barras	Número de assistências usadas por agentes de IA detalhados por agente de IA.
Contagem média de execução da ferramenta por fluxo de trabalho agentivo	Lista	Contagem de ferramentas executadas por um fluxo de trabalho do agente dividido por fluxo de trabalho do agente e dia.
Contagem média de execução da ferramenta por nível de assistência	Lista	Contagem de ferramentas executadas por um fluxo de trabalho do agente dividido por nível de assistência e dia.

Tabela 8. Visualizações de dados na página de desempenho do painel Análise do agente de IA
Título	Tipo	Descrição
Latência do fluxo de trabalho agentivo P90	Cartão de pontuação	Tempo em segundos de 90% dos fluxos de trabalho do agente em um sistema a serem processados.
Latência do fluxo de trabalho agentivo P95	Cartão de pontuação	Tempo em segundos de 95% dos fluxos de trabalho do agente em um sistema a serem processados.
Latência do fluxo de trabalho agentivo P99	Cartão de pontuação	Tempo em segundos de 99% dos fluxos de trabalho do agente em um sistema a serem processados.
Total de fluxos de trabalho agentivos executados por hora	Gráfico de barras	Visualização de qual hora do dia os fluxos de trabalho do agente foram executados por hora.
Total de erros de fluxos de trabalho agentivos por hora	Gráfico de barras	Visualização de que hora do dia os fluxos de trabalho do agente foram executados e tiveram um erro por hora.
Latência do fluxo de trabalho agentivo	Gráfico de linhas	Latência do fluxo de trabalho do Agentic ao longo do tempo. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência do fluxo de trabalho agentivo (média semanal)	Gráfico de linhas	Latência do fluxo de trabalho do Agentic ao longo do tempo. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência do fluxo de trabalho agentivo (média diária)	Tabela	Latência média do fluxo de trabalho do agente hoje. Cada linha é um fluxo de trabalho do agente e cada coluna é uma métrica de latência diferente. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência do agente de IA P90	Cartão de pontuação	Tempo em segundos de 90% das execuções do agente de IA em um sistema a ser processado.
Latência do agente de IA P95	Cartão de pontuação	Tempo em segundos de 95% das execuções do agente de IA em um sistema a ser processado.
Latência do agente de IA P99	Cartão de pontuação	Tempo em segundos de 99% das execuções do agente de IA em um sistema a ser processado.
Total de agentes de IA executados por hora	Gráfico de barras	Visualização de que hora do dia as execuções do agente de IA foram executadas por hora.
Total de erros de agente de IA por hora	Gráfico de barras	Visualização de que hora do dia as execuções do agente de IA foram executadas e tiveram um erro por hora.
Latência do agente de IA	Gráfico de linhas	Latência do agente de IA no filtro de tempo. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência do agente de IA (média semanal)	Gráfico de linhas	Latência do agente de IA ao longo do tempo por semana. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência do agente de IA (média diária)	Tabela	Latência média do agente de IA hoje. Cada linha é um agente de IA e cada coluna é uma métrica de latência diferente. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência da ferramenta P90	Cartão de pontuação	Tempo em segundos de 90% das execuções da ferramenta em um sistema a ser processado.
Latência da ferramenta P95	Cartão de pontuação	Tempo em segundos de 95% das execuções da ferramenta em um sistema a ser processado.
Latência da ferramenta P99	Cartão de pontuação	Tempo em segundos de 99% das execuções da ferramenta em um sistema a ser processado.
Total de ferramentas executadas por hora	Gráfico de barras	Visualização de qual hora do dia as execuções da ferramenta foram executadas por hora.
Total de erros de ferramenta por hora	Gráfico de barras	Visualização de qual hora do dia as execuções da ferramenta foram executadas e tiveram um erro por hora.
Latência da ferramenta	Gráfico de linhas	Latência da ferramenta no filtro de tempo. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência da ferramenta (média semanal)	Gráfico de linhas	Latência da ferramenta ao longo do tempo por semana. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência da ferramenta (média diária)	Tabela	Latência média da ferramenta hoje. Cada linha é uma ferramenta e cada coluna é uma métrica de latência diferente. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência do LLM P90	Cartão de pontuação	Tempo em segundos de 90% das solicitações de LLM em um sistema a serem processadas.
Latência do LLM P95	Cartão de pontuação	Tempo em segundos de 95% das solicitações de LLM em um sistema a serem processadas.
Latência do LLM P99	Cartão de pontuação	Tempo em segundos de 99% das solicitações de LLM em um sistema a serem processadas.
Latência do LLM	Gráfico de linhas	Latência da ferramenta no filtro de tempo. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Latência do LLM (média semanal)	Gráfico de linhas	Latência da ferramenta ao longo do tempo por semana. Usa três indicadores diferentes: P90 rastreia os 90% mais rápidos das execuções, P95 rastreia os 95% mais rápidos das execuções e P99 rastreia os 99% mais rápidos das execuções.
Chamadas LLM por hora	Gráfico de barras	Visualização de que horas do dia as chamadas de LLM foram feitas por hora.
Erros de LLM por hora	Gráfico de barras	Visualização de que horas do dia as chamadas de LLM foram feitas e tiveram um erro por hora.

Tabela 9. Visualizações de dados na página de solução de problemas do painel Análise do agente de IA
Nome	Tipo	Descrição
Erros de fluxos de trabalho agentivos	Lista	Lista de erros de fluxo de trabalho do agente.