Performance Analytics A coleta de pontuação segue o processo descrito aqui. Para ajudar na solução de problemas, é fornecido um mapeamento entre as etapas do trabalho e as entradas de log.
Visão geral da coleção
O trabalho de coleta de dados envolve a execução de uma consulta SQL para cada origem de indicador que usa o coletor de dados. A consulta se repete para cada hora de coleta da data de início até a data de parada. Em seguida, as consultas são executadas para a próxima origem de indicador. Cada etapa da execução de uma consulta é documentada no log do trabalho de coleta de dados. Figura 1. Exibição de alto nível do trabalho de coleta de dados
Propriedades de otimização mostradas no log
O coletor de dados tem várias otimizações que podem ser ativadas ou desativadas nas Propriedades do sistema. O início do log de trabalho inclui o estado dessas propriedades.
Nota:
Não confunda essas propriedades de otimização com o novo coletor de dados otimizado. Essas propriedades se aplicam somente ao coletor de dados clássico. O novo coletor de dados foi otimizado em um nível mais fundamental.
Tabela 1. Propriedades de otimização de coleta de dados
Otimização
Descrição
Propriedade do sistema
Coleção aninhada
Substitui o mapeamento plano para reduzir objetos redundantes. Por exemplo, em vez de criar objetos de indicador idênticos para cada detalhamento e elemento nesse indicador, apenas um objeto é criado para o indicador.
com.snc.pa.dc.nested_collection
Padrão: verdadeiro
Limpar snapshots
O Now Platform armazena um número máximo de Performance Analyticssnapshots na memória antes de descarregá-los para o banco de dados.
com.snc.pa.dc.flush_snapshot_count
Padrão: 1000
Usar código hash para contagem distinta
Os armazenamentos contam agregações distintas como um hashcode em vez de como valores separados.
com.snc.pa.dc.use_hashcode_for_distinct
Padrão: verdadeiro
Como iniciar e concluir o trabalho de coleta
Siga o processo de coleta de dados conforme mostrado nas mensagens de log. As mensagens de log em cada subprocesso foram separadas em suas próprias tabelas.
Nota:
Este log é para o coletor de dados original. Se sua instância usa este coletor de dados, o parâmetro do sistema com.snc.pa.dc.hsql existe e é "falso". Caso contrário, você estará usando o coletor de dados otimizado conforme descrito em Como otimizar a coleta de dados. Para obter mais informações sobre esse log, consulte Detalhes do log para coletor de dados otimizado.
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Mostra o domínio do usuário Executar como do trabalho de coleta.
Usuário<admin> pertence ao domínio global
A coleção é iniciada. O início do trabalho especifica se as pontuações, o índice de texto ou ambos estão sendo coletados. As mensagens também especificam as configurações das propriedades de otimização de coleta de dados.
Iniciando coleção de pontuações e índice de texto. Valor das propriedades no sistema -
Contagem de snapshots de limpeza: 1.000
É coleção aninhada: verdadeira
Usando hashcode para contagem distinta: verdadeiro
Mostra os domínios para os quais as pontuações são coletadas. Também mostra outros detalhes relevantes sobre os domínios.
DomainConfig: Testando logs de coleção de configuração de domínio - 3d359877b77000106886e664de11a97c, Tipo: condições, RollUpType: roll_up_children, collectAggregate? Sim, collectChildren?: Sim, AggregateDomain: Nome: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, Domínios: Padrão,MSP,ACME,Cisco,Initech,Oceanic Lines
Lista as origens de indicador para as quais o trabalho coleta dados, incluindo seus IDs exclusivos.
Lista cada indicador associado ao trabalho e as propriedades do indicador relacionadas à coleta de dados:
Os registros são coletados em um snapshot?
Algum detalhamento foi excluído?
Os períodos de coleta na origem do indicador foram substituídos?
A matriz de detalhamento é coletada?
Se a matriz de detalhamento for coletada, alguma combinação de detalhamento será excluída?
JobIndicator: número de incidentes em aberto - de537dc3d7131100b96d45a3ce610305 Propriedades do indicador de trabalho: collectIndicator?: Sim, BreakdownCollectionType:With_EXCLUDE Detalhamentos excluídos: Grupo de atribuição, Propriedades do indicador de estado => CollectingRecords: Sim, Períodos de coleta substituídos: Não, com script?: Não, Combinações de detalhamento?: Sim, combinações de detalhamento excluídas: nenhuma combinação foi excluída.
Incidentes de origem do indicador de processamento.Aberto
Indicadores de lista que têm condições adicionais, além das condições herdadas da origem do indicador.
Indicador: número de incidentes em aberto reatribuídos - ffb59561ff2302001e68ffffffffff33, Condições adicionais: reassignment_count>0
Indica se a coleta de pontuação está seguindo a estrutura de dados aninhada em vez de usar o mapeamento plano. A coleção aninhada cria menos objetos redundantes na memória.
A coleção não aninhada oferece suporte ao envio em lote de pontuações.
Usando coleção aninhada.
Observação - As inserções em lote de pontuações não são compatíveis com a coleção aninhada.
Incidentes de origem do indicador de processamento.Novo
Etapas iteradas para cada período de coleta
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Data de início do trabalho de coleta.
Coletando para 20191103 em Incidentes de origem do indicador. Aberto
Buscar os seguintes campos:
Os campos exclusivos das origens de detalhamento (normalmente sys_id)
Os campos de indicador usados em mapeamentos de detalhamento
Os campos de tabela usados em mapeamentos de detalhamento com script
Os campos de origem do indicador usados na análise de texto, se o índice de texto for coletado (normalmente inclui short_description)
Buscando "short_description,sys_id, opened_at, assign_group, description, priority, category" de "incident"
Gere SQL com base nas condições especificadas na origem do indicador.
Nota:
Se a origem do indicador especificar Hoje em uma das condições, Hoje será considerado relativo ao período para o qual o trabalho de coleta de dados é executado. Por exemplo, a origem do indicador Incidents.New inclui a condição [Opened][on][Today]. Com dias definidos para iniciar às 07:00:00, quando os dados são coletados para 28-10-2019, o trabalho produz o script SQL à direita.
SELECT task0.`sys_id` FROM task task0 ONDE task0.`sys_class_name` = 'incident' AND (task0.`opened_at` >= '2019-10-28 07:00:00' AND task0.`opened_at` <= '2019 -10-29 06:59:59')
Exiba o número de registros obtidos pelo SQL.
Obtidas 150 linhas de Incidentes de origem do indicador. Aberto (tabela de fatos: incidente)
Execute a função mapear/reduzir para calcular as pontuações do indicador.
Se a indexação de texto estiver ativa e tiver sido configurada para a origem do indicador, o coletor de dados armazenará o índice de texto resultante.
Armazenando índice de texto para incidentes de origem do indicador. Aberto
Bytes usados pelo índice de texto: 41.984 para: Incidentes.Aberto
Comece a armazenar resultados recém-coletados para a origem do indicador.
Pontuações a serem armazenadas: 374.842 (excluindo pontuações distintas de contagem de nível 2 avaliadas lentamente para indicadores - ID - Todos os incidentes com todos os 3 detalhamentos)
Qualquer indicador com um valor nulo é registrado.
'Valor quando nulo' armazenado: 0,0 como pontuação do indicador: número de incidentes desviados por conhecimento
Conclua o armazenamento dos resultados.
Pontuações armazenadas: 1.125.057
Resultados coletados armazenados
Especifique para quais indicadores o coletor de dados não coleta pontuações.
Não coletando para o indicador: soma da idade dos incidentes em aberto com detalhamento excluído: grupo de atribuição
Conclua a coleta de dados para essa origem de indicador para esse período.
Coleta para 20200519 em Incidentes de origem do indicador. Aberto concluído
Exiba o tempo médio gasto em um registro para processar condições adicionais que foram definidas nos indicadores.
Tempo médio necessário para processar a condição de indicador adicional para cada registro: 138 ms
Etapas da função mapear/reduzir
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
A função mapear/reduzir é executada.
Aplicando a função mapear/reduzir para a origem do indicador Incidentes.Aberto
Aviso se a indexação de texto estiver ativa para o trabalho, mas não puder ser executada devido a uma configuração de índice de texto ausente ou inválida.
Ignorando a coleta de índice de texto, pois a configuração do índice de texto está ausente ou é inválida
Exclua pontuações anteriores dos indicadores e detalhamentos que usam a origem do indicador.
Excluindo resultados anteriores da origem do indicador Incidentes.Aberto
Resultados anteriores 38 excluídos para o indicador: Logins externos
Resultados anteriores 21 excluídos para o indicador: Logins com falha
Processe cada registro na origem do indicador para calcular as pontuações. As mensagens de log rastreiam o total de registros processados e o uso de memória. O processamento de cada registro envolve:
Execute ou avalie qualquer script.
Valide as condições do indicador.
Calcule a pontuação do indicador.
Para cada detalhamento:
Calcule a pontuação de detalhamento ou execute o script de detalhamento.
Recupere todos os valores exclusivos de detalhamento.
Crie ou atualize a matriz para pontuações ou snapshots. A matriz é: Indicador, Detalhamento 1, Artefato 1, Detalhamento 2, Artefato 2, Domínio, Valor, Matriz de [sys_id]
18%% (1) registros processados, tamanho do objeto de resultado: 5 MB
Processados 42% (2) registros, Tamanho do objeto de resultado: 9 MB
Processados 76% (3) registros, Tamanho do objeto de resultado: 14 MB
100% (4) registros processados, Tamanho do objeto de resultado: 20 MB
