Performance Analytics a coleta de pontuação segue o processo descrito aqui. Para auxiliar na solução de problemas, é fornecido um mapeamento entre as etapas do trabalho e as entradas de log.
Visão geral da coleção
O trabalho de coleta de dados envolve a execução de uma consulta SQL para cada fonte de indicador que usa o coletor de dados. A consulta se repete para cada horário de coleta, desde a data de início até a data de término. Em seguida, as consultas são executadas para a próxima origem do indicador. Cada etapa da execução de uma consulta é documentada no log do trabalho de coleta de dados. Figura 1. Exibição de alto nível do trabalho de coleta de dados
Propriedades de otimização mostradas no log
O coletor de dados tem várias otimizações que podem ser ativadas ou desativadas nas Propriedades do sistema. O início do log de trabalho inclui o estado dessas propriedades.
Nota:
Não confunda essas propriedades de otimização com o novo coletor de dados otimizado. Essas propriedades se aplicam somente ao coletor de dados clássico. O novo coletor de dados é otimizado em um nível mais fundamental.
Tabela 1. Propriedades de otimização da coleta de dados
Otimização
Descrição
Propriedade do sistema
Coleção aninhada
Substitui o mapeamento simples para reduzir objetos redundantes. Por exemplo, em vez de criar objetos de indicador idênticos para cada detalhamento e elemento nesse indicador, somente um objeto é criado para o indicador.
com.snc.pa.dc.nested_collection
Padrão: verdadeiro
Limpar snapshots
. ServiceNow AI Platform armazena um número máximo de Performance Analyticssnapshotsna memória antes de descarregá-los para o banco de dados.
com.snc.pa.dc.flush_snapshot_count
Padrão: 1000
Use hashcode para contagem distinta
As agregações distintas de contagem são armazenadas como hashcode em vez de valores separados.
com.snc.pa.dc.use_hashcode_for_distinct
Padrão: verdadeiro
Iniciando e concluindo o trabalho de coleta
Siga o processo de coleta de dados conforme revelado nas mensagens de log. As mensagens de log em cada subprocesso foram separadas em suas próprias tabelas.
Nota:
Este log é para o coletor de dados original. Se sua instância usar este coletor de dados, o parâmetro do sistema com.snc.pa.dc.hsqlexiste e é "falso". Caso contrário, você estará usando o coletor de dados otimizado conforme descrito em Otimizando a coleta de dados. Para obter mais informações sobre esse log, consulte Registrar detalhes do coletor de dados otimizado.
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Mostra o domínio do trabalho de coleta Executar como usuário.
O User <admin> pertence ao domínio global
A coleção é iniciada. O início do trabalho especifica se pontuações, índice de texto ou ambos estão sendo coletados. As mensagens também especificam as configurações das propriedades de otimização da coleta de dados.
Iniciando a coleta de pontuações e índice de texto. Valor das propriedades no sistema -
Contagem de snapshot de limpeza: 1 000
É coleção aninhada: Verdadeiro
Usando hashcode para contagem distinta: Verdadeiro
Mostra os domínios para os quais as pontuações são coletadas. Também mostra outros detalhes relevantes sobre os domínios.
DomainConfig: Logs de coleção de configuração de domínio de teste - 3d359877b77000106886e664de11a97c, Tipo: Condições, RollupType: Roll_up_children, collectAggregate? Sim, collectChildren?: Sim, AggregateDomain: Nome: 3d359877b77000106886e664de11a97c - SYSID: D1659c77b77000106886e664de11a91e, Domínios: Default,MSP,ACME,Cisco,InTech,Oceanic Airlines
Lista as origens do indicador para as quais o trabalho coleta dados, incluindo seus IDs exclusivos.
Fontes do indicador a coletar: Incidentes.Novo: B54f2c23d7030100b96d45a3ce61032f, Incidentes.Aberto: B5cf2c23d7030100b96d45a3ce6103cc, Incidentes.Encerrado: 2ac8dd31ff2301e68ffffffffffffffffffffff3d, Incidentes.Resolvido
Lista cada indicador associado ao trabalho e as propriedades do indicador relacionadas à coleta de dados:
Os registros são coletados em um snapshot?
Há detalhamentos excluídos?
Os períodos de coleta na origem do indicador são substituídos?
A matriz de detalhamento é coletada?
Se a matriz de detalhamento for coletada, alguma combinação de detalhamento será excluída?
JobIndicator: Número de incidentes em aberto - de537dc3d7131100b96d45a3ce610305 Propriedades do indicador de trabalho: CollectIndicator?: Sim, BreakdownCollectionType: WITH_EXCLUDE detalhamentos excluídos: Grupo de atribuição, Propriedades do indicador de estado > CollectingRecords: Sim, períodos de coleta substituídos: Não, scripted?: Não, combinações de detalhamento excluídas: Nenhuma combinação excluída.
Processando incidentes de origem do indicador.Aberto
Listar indicadores que têm condições adicionais, além das condições herdadas da origem do indicador.
Indicador: Número de incidentes em aberto reatribuídos - ffb59561ff2302001e68ffffffffff33, Condições adicionais: Reassignment_count>0
Indica se a coleta de pontuação está seguindo a estrutura de dados aninhada em vez de usar mapeamento simples. A coleção aninhada cria menos objetos redundantes na memória.
A coleção não aninhada oferece suporte a lotes de pontuações.
Usando coleção aninhada.
Observação: Inserções em lote de pontuações não são compatíveis com a coleção aninhada.
Processando incidentes de origem do indicador.Novo
Etapas iteradas para cada período de coleta
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Data de início do trabalho de coleta.
Coletando 20191103 em Incidentes de origem do indicador.Aberto
Buscar os seguintes campos:
Os campos exclusivos das origens de detalhamento (normalmente sys_id)
Os campos do indicador usados nos mapeamentos de detalhamento
Os campos de tabela usados nos mapeamentos de detalhamento com script
Os campos de origem do indicador usados na análise de texto, se o índice de texto for coletado (normalmente inclui short_description)
Buscando "short_description,sys_id, opened_at, assignment_group, description, priority, "categoria" de "incidente"
Gere SQL com base nas condições especificadas na origem do indicador.
Nota:
Se a origem do indicador especificar Hoje em uma das condições, Hoje será considerado relativo ao período durante o qual o trabalho de coleta de dados é executado. Por exemplo, a origem do indicador Incidents.New inclui a condição [Aberto][em][Hoje] . Com dias definidos para começar às 07:00:00, quando os dados são coletados para 2019-10-28, o trabalho produz o script SQL à direita.
SELECIONE task0.sys_id NA tarefa task0 EM QUE task0.sys_class_name é "incidente" E (task0."opened_at" >"2019-10-28 07:00:00" E task0."opened_at" >"2019-10-29 06:59:59")
Exiba o número de registros obtidos pelo SQL.
Buscadas 150 linhas de Incidentes de origem do indicador.Aberto (tabela de fatos: Incidente)
Execute a função Mapear/Reduzir para calcular as pontuações do indicador.
Se a indexação de texto estiver ativa e tiver sido configurada para a origem do indicador, o coletor de dados armazenará o índice de texto resultante.
Armazenando índice de texto para incidentes de origem do indicador.Aberto
Bytes usados pelo índice de texto: 41 984 para: Incidents.Open
Comece a armazenar resultados recém-coletados para a origem do indicador.
Pontuações a serem armazenadas: 374 842 (excluindo pontuações distintas de contagem de nível 2 avaliadas preguiçosamente para indicadores - ID - todos os incidentes com todos os 3 detalhamentos)
Qualquer indicador com um valor nulo é registrado em log.
"Valor quando nulo" armazenado: 0,0 como pontuação do indicador: Número de incidentes desviados pelo conhecimento
Conclua o armazenamento dos resultados.
Pontuações armazenadas: 1,125,057
Resultados coletados armazenados
Especifique para quais indicadores o coletor de dados não coleta pontuações.
Não coletando para o indicador: Soma da idade dos incidentes em aberto com detalhamento excluído: Grupo de atribuição
Conclua a coleta de dados para essa origem de indicador para esse período.
Coleta para 20200519 incidentes de origem do indicador.Aberto concluída
Exiba a quantidade média de tempo gasto em um registro para processar condições adicionais que foram definidas nos indicadores.
Tempo médio necessário para processar a condição de indicador adicional para cada registro: 138 ms
Etapas da função Mapear/Reduzir
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
A função Mapear/Reduzir é executada.
Aplicando função de mapear/reduzir para incidentes de origem do indicador.Aberto
Aviso se a indexação de texto estiver ativa para o trabalho, mas não puder ser executada devido a uma configuração de índice de texto inválida ou ausente.
Ignorando a coleta de índice de texto, pois a configuração do índice de texto está ausente ou é inválida
Exclua pontuações anteriores dos indicadores e detalhamentos que usam a origem do indicador.
Excluindo resultados anteriores para incidentes de origem do indicador.Aberto
Resultados anteriores excluídos 38 para o indicador: Logins externos
Resultados anteriores excluídos 21 para o indicador: Logins com falha
Processe cada registro na origem do indicador para calcular pontuações. As mensagens de log rastreiam o total em execução de registros processados e o uso de memória. O processamento de cada registro envolve:
Execute ou avalie quaisquer scripts.
Valide as condições do indicador.
Calcule a pontuação do indicador.
Para cada detalhamento:
Calcule a pontuação de detalhamento ou execute o script de detalhamento.
Recupere todos os valores exclusivos de detalhamento.
Crie ou atualize a matriz para pontuações ou snapshots. A matriz é: Indicador, Detalhamento 1, Artefato 1, Detalhamento 2, Artefato 2, valor, matriz de [sys_id]
18%% (1) registros processados, Tamanho do objeto de resultado: 5 MB
42% (2) registros processados, Tamanho do objeto de resultado: 9 MB
76% (3) registros processados, Tamanho do objeto de resultado: 14 MB
100% (4) registros processados, Tamanho do objeto de resultado: 20 MB
