Começando com Tokyo um novo coletor de dados otimizado está disponível. Os detalhes do log deste coletor de dados diferem dos detalhes do log do coletor de dados clássico.
Visão geral da coleção
O trabalho de coleta de dados envolve a execução de uma consulta SQL para cada fonte de indicador que usa o coletor de dados. A consulta se repete para cada horário de coleta, desde a data de início até a data de término. Em seguida, as consultas são executadas para a próxima origem do indicador. Cada etapa da execução de uma consulta é documentada no log do trabalho de coleta de dados. Figura 1. Exibição de alto nível do trabalho de coleta de dados
Iniciando e concluindo o trabalho de coleta
Siga o processo de coleta de dados conforme revelado nas mensagens de log. As mensagens de log em cada subprocesso foram separadas em suas próprias tabelas.
Nota:
Este log é para o coletor de dados HSQL otimizado, conforme descrito em Otimizando a coleta de dados. Se com.snc.pa.dc.hsqlé "falso", você está usando o coletor de dados clássico. Caso contrário, você estará usando o coletor de dados otimizado. Para obter mais informações sobre esse log, consulte Detalhes do log do coletor de dados clássico.
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Mostra o domínio do trabalho de coleta Executar como usuário.
O User <admin> pertence ao domínio global
A coleção é iniciada. O início do trabalho especifica se pontuações, índice de texto ou ambos estão sendo coletados. As mensagens também especificam que o coletor de dados HSQL otimizado está em uso e se os logs de depuração estão habilitados. Apenas Suporte e atendimento ao cliente pode habilitar logs de depuração.
Iniciando a coleta de pontuações e índice de texto. Valor das propriedades no sistema -
Usando coletor de dados HSQL: Verdadeiro
Logs de depuração habilitados: Verdadeiro
Nome do nó: Vsr007
Mostra os domínios para os quais as pontuações são coletadas. Também mostra outros detalhes relevantes sobre os domínios.
DomainConfig: Logs de coleção de configuração de domínio de teste - 3d359877b77000106886e664de11a97c, Tipo: Condições, RollupType: Roll_up_children, collectAggregate? Sim, collectChildren?: Sim, AggregateDomain: Nome: 3d359877b77000106886e664de11a97c - SYSID: D1659c77b77000106886e664de11a91e, Domínios: Default,MSP,ACME,Cisco,InTech,Oceanic Airlines
Lista as origens do indicador para as quais o trabalho coleta dados, incluindo seus IDs exclusivos.
Fontes do indicador a coletar: Incidentes.Novo: B54f2c23d7030100b96d45a3ce61032f, Incidentes.Aberto: B5cf2c23d7030100b96d45a3ce6103cc, Incidentes.Encerrado: 2ac8dd31ff2301e68ffffffffffffffffffffff3d, Incidentes.Resolvido
Lista cada indicador associado ao trabalho e as propriedades do indicador relacionadas à coleta de dados:
Os períodos de coleta na origem do indicador são substituídos?
A matriz de detalhamento é coletada?
Se a matriz de detalhamento for coletada, alguma combinação de detalhamento será excluída?
JobIndicator: Número de incidentes em aberto - de537dc3d7131100b96d45a3ce610305 Propriedades do indicador de trabalho: CollectIndicator?: Sim, BreakdownCollectionType: WITH_EXCLUDE detalhamentos excluídos: Grupo de atribuição, Propriedades do indicador de estado > CollectingRecords: Sim, períodos de coleta substituídos: Não, scripted?: Não, combinações de detalhamento excluídas: Nenhuma combinação excluída.
Processando incidentes de origem do indicador.Novo
Etapas iteradas para cada período de coleta
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Data de início do trabalho de coleta.
Coletando 20191103 em Incidentes de origem do indicador.Aberto
Buscar os seguintes campos:
Os campos exclusivos das origens de detalhamento (normalmente sys_id)
Os campos do indicador usados nos mapeamentos de detalhamento
Os campos de tabela usados nos mapeamentos de detalhamento com script
Os campos de origem do indicador usados na análise de texto, se o índice de texto for coletado (normalmente inclui short_description)
Buscando "short_description,sys_id, opened_at, assignment_group, description, priority, "categoria" de "incidente"
Gere SQL com base nas condições especificadas na origem do indicador.
Nota:
Se a origem do indicador especificar Hoje em uma das condições, Hoje será considerado relativo ao período durante o qual o trabalho de coleta de dados é executado. Por exemplo, a origem do indicador Incidents.New inclui a condição [Aberto][em][Hoje] . Com dias definidos para começar às 07:00:00, quando os dados são coletados para 2019-10-28, o trabalho produz o script SQL à direita.
SELECIONE task0.sys_id NA tarefa task0 EM QUE task0.sys_class_name é "incidente" E (task0."opened_at" >"2019-10-28 07:00:00" E task0."opened_at" >"2019-10-29 06:59:59")
Exiba o número de registros obtidos pelo SQL.
Buscadas 150 linhas de Incidentes de origem do indicador.Aberto (tabela de fatos: Incidente)
Excluir resultados anteriores.
Resultados anteriores excluídos 1 para Indicador: Impersonações
Execute a função Mapear/Reduzir para calcular as pontuações do indicador.
Se a indexação de texto estiver ativa e tiver sido configurada para a origem do indicador, o coletor de dados armazenará o índice de texto resultante.
Armazenando índice de texto para incidentes de origem do indicador.Aberto
Bytes usados pelo índice de texto: 41 984 para: Incidents.Open
Os objetos são descarregados para o banco de dados HSQL sempre que um dos seguintes limites é excedido:
Numero de pontos
Número de snapshots
Número total de valores distintos de contagem
Registrar o número de vezes que o limite de descarregamento foi excedido para cada categoria de objeto. Cada vez que o limite de descarregamento é excedido em uma categoria, todos os objetos são movidos para o armazenamento de banco de dados temporário HSQL. No final da função mapear/reduzir, todos os registros restantes são descarregados. O número de registros restantes é geralmente menor que o limite, e esse descarregamento também é registrado.
Número de vezes que o limite de descarregamento ultrapassou o limite para pontuações: 275
Número de vezes que o limite de descarregamento ultrapassou o limite para snapshots: 0
Número de vezes que o limite de descarregamento ultrapassou o limite para valores distintos: 0
Lote de descarregamento de registros que não cruzou o limite: 1
Comece a armazenar resultados recém-coletados para a origem do indicador.
Armazenando resultados coletados para incidentes de origem do indicador.Resolvido
Qualquer indicador com um valor nulo é registrado em log.
"Valor quando nulo" armazenado: 0,0 como pontuação do indicador: Número de incidentes desviados pelo conhecimento
Conclua o armazenamento dos resultados.
Resultados coletados armazenados
Especifique para quais indicadores o coletor de dados não coleta pontuações.
Não coletando para o indicador: Soma da idade dos incidentes em aberto com detalhamento excluído: Grupo de atribuição
Conclua a coleta de dados para essa origem de indicador para esse período.
Coleta para 20200519 incidentes de origem do indicador.Aberto concluída
Exiba a quantidade média de tempo gasto em um registro para processar condições adicionais que foram definidas nos indicadores.
Tempo médio necessário para processar a condição de indicador adicional para cada registro: 138 ms
Etapas da função Mapear/Reduzir
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
A função Mapear/Reduzir é executada.
Aplicando função de mapear/reduzir para incidentes de origem do indicador.Aberto
Aviso se a indexação de texto estiver ativa para o trabalho, mas não puder ser executada devido a uma configuração de índice de texto inválida ou ausente.
Ignorando a coleta de índice de texto, pois a configuração do índice de texto está ausente ou é inválida
Processe cada registro na origem do indicador para calcular pontuações. As mensagens de log rastreiam o total em execução de registros processados.
Cada vez que o número de pontuações resultantes ou snapshots excede um limite, todos os objetos são descarregados para o banco de dados HSQL. A descarga é registrada após a conclusão da função Mapear/Reduzir.
O processamento de cada registro envolve:
Execute ou avalie quaisquer scripts.
Valide as condições do indicador.
Calcule a pontuação do indicador.
Para cada detalhamento:
Calcule a pontuação de detalhamento ou execute o script de detalhamento.
Recupere todos os valores exclusivos de detalhamento.
Crie ou atualize a matriz para pontuações ou snapshots. A matriz é: Indicador, Detalhamento 1, Artefato 1, Detalhamento 2, Artefato 2, valor, matriz de [sys_id]
15,8% (3) registros processados
31,6% (6) registros processados
47,4% (9) registros processados
63,2% (12) registros processados
78,9% (15) registros processados
94,7% (18) registros processados
100% (4) registros processados, Tamanho do objeto de resultado: 20 MB
