Começando com a versão Tokyo, um novo coletor de dados otimizado está disponível. Os detalhes do log para este coletor de dados diferem dos detalhes do log do coletor de dados clássico.
Visão geral da coleção
O trabalho de coleta de dados envolve a execução de uma consulta SQL para cada origem de indicador que usa o coletor de dados. A consulta se repete para cada hora de coleta, da data de início até a data de término. Em seguida, as consultas são executadas para a próxima origem de indicador. Cada etapa da execução de uma consulta é documentada no log do trabalho de coleta de dados. Figura 1. Exibição de alto nível do trabalho de coleta de dados
Iniciando e concluindo o trabalho de coleta
Siga o processo de coleta de dados conforme mostrado nas mensagens de log. As mensagens de log em cada subprocesso foram separadas em suas próprias tabelas.
Nota:
Este log é para o coletor de dados HSQL otimizado, conforme descrito em Otimizando a coleta de dados. Se com.snc.pa.dc.hsql for "falso", você estará usando o coletor de dados clássico. Caso contrário, você estará usando o coletor de dados otimizado. Para obter mais informações sobre esse log, consulte Detalhes do log para o coletor de dados clássico.
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Mostra o domínio do usuário Executar como do trabalho de coleta.
Usuário<admin> pertence ao domínio global
A coleção começa. O início do trabalho especifica se as pontuações, o índice de texto ou ambos estão sendo coletados. As mensagens também especificam se o coletor de dados HSQL otimizado está em uso e se os logs de depuração estão habilitados. Somente Suporte e atendimento ao cliente pode habilitar logs de depuração.
Iniciando a coleção de pontuações e índice de texto. Valor das propriedades no sistema -
Usando o coletor de dados HSQL: verdadeiro
Logs de depuração habilitados: verdadeiro
Nome do nó: vsr007
Mostra os domínios para os quais as pontuações são coletadas. Também mostra outros detalhes relevantes sobre os domínios.
DomainConfig: testando logs de coleção de configuração de domínio - 3d359877b77000106886e664de11a97c, tipo: condições, RollUpType: roll_up_children, collectAggregate? Sim, collectChildren?: Sim, AggregateDomain: Nome: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, Domínios: Padrão,MSP,ACME,Cisco,Initech,Oceanic Lines
Lista as origens de indicador para as quais o trabalho coleta dados, incluindo seus IDs exclusivos.
Lista cada indicador associado ao trabalho e as propriedades do indicador relacionadas à coleta de dados:
Os registros são coletados em um snapshot?
Algum detalhamento foi excluído?
Os períodos de coleta na origem do indicador são substituídos?
A matriz de detalhamento é coletada?
Se a matriz de detalhamento for coletada, alguma combinação de detalhamento será excluída?
JobIndicator: número de incidentes em aberto - de537dc3d7131100b96d45a3ce610305 Propriedades do indicador de trabalho: collectIndicator?: Sim, BreakdownCollectionType:With_EXCLUDE Detalhamentos excluídos: Grupo de atribuição, Propriedades do indicador de estado => CollectingRecords: Sim, Períodos de coleta substituídos: Não, com script?: Não, Combinações de detalhamento?: Sim, combinações de detalhamento excluídas: nenhuma combinação é excluída.
Processando incidentes de origem do indicador.Aberto
Repita que o coletor de dados HSQL otimizado está em uso.
Lista os indicadores que têm condições adicionais, além das condições herdadas da origem do indicador.
Indicador: Logins de administrador - [sys_id of indicator], Condições adicionais: ref_isc_login_event.login_type=login_admin, É coletar registros: verdadeiro
Processando incidentes de origem do indicador.Novo
Etapas iteradas para cada período de coleta
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Data de início do trabalho de coleta.
Coletando para 20191103 em incidentes de origem do indicador.Aberto
Buscar os seguintes campos:
Os campos exclusivos das origens de detalhamento (normalmente sys_id)
Os campos de indicador usados em mapeamentos de detalhamento
Os campos de tabela usados em mapeamentos de detalhamento com script
Os campos de origem do indicador usados na análise de texto, se o índice de texto for coletado (normalmente inclui short_description)
Buscando "short_description,sys_id, opened_at, assign_group, description, prioridade, categoria" de "incidente"
Gera SQL com base nas condições especificadas na origem do indicador.
Nota:
Se a origem do indicador especificar Hoje em uma das condições, Hoje será considerado relativo ao período para o qual o trabalho de coleta de dados é executado. Por exemplo, a origem do indicador Incidents.New inclui a condição [Opened][on][Today]. Com dias definidos para iniciar às 07:00:00, quando os dados são coletados para 28/10/2019, o trabalho produz o script SQL à direita.
SELECT task0.`sys_id` FROM task task0 WHERE task0.`sys_class_name` = 'incident' AND (task0.`opened_at` >= '2019-10-28 07:00:00' AND task0.`opened_at` <= '2019 -10-29 06:59:59')
Exiba o número de registros obtidos pelo SQL.
Foram obtidas 150 linhas de Incidentes de origem do indicador. Aberto (tabela de fatos: incidente)
Exclua resultados anteriores.
Resultados anteriores 1 excluídos para o Indicador: Representações
Execute a função mapear/reduzir para calcular as pontuações do indicador.
Se a indexação de texto estiver ativa e tiver sido configurada para a origem do indicador, o coletor de dados armazenará o índice de texto resultante.
Armazenando índice de texto para fonte de indicador Incidentes.Aberto
Bytes usados pelo índice de texto: 41.984 para: Incidentes.Aberto
Os objetos são descarregados para o banco de dados HSQL sempre que um dos seguintes limites for excedido:
Numero de pontos
Número de snapshots
Número total de valores distintos de contagem
Número de log de vezes que o limite de descarregamento foi excedido para cada categoria de objeto. Cada vez que o limite de descarregamento é excedido em uma categoria, todos os objetos são movidos para o armazenamento de banco de dados temporário HSQL. No final da função de mapa/redução, todos os registros restantes são descarregados. O número de registros restantes geralmente é menor que o limite e esse descarregamento também é registrado em log.
Número de vezes que o limite de descarga ultrapassou o limite das pontuações: 275
Número de vezes que o limite de descarregamento ultrapassou o limite para snapshots: 0
Número de vezes que o limite de descarga ultrapassou o limite para valores distintos: 0
Descarregar lote de registros que não ultrapassaram o limite: 1
Comece a armazenar resultados recém-coletados para a origem do indicador.
Armazenando resultados coletados para a origem do indicador Incidentes.Resolvido
Qualquer indicador com um valor nulo é registrado.
"Valor quando nulo" armazenado: 0,0 como pontuação para o indicador: número de incidentes desviados por conhecimento
Conclua o armazenamento dos resultados.
Resultados coletados armazenados
Especifique para quais indicadores o coletor de dados não coleta pontuações.
Não coletar para o indicador: soma da idade dos incidentes em aberto com detalhamento excluído: grupo de atribuição
Conclua a coleta de dados para essa origem de indicador para esse período.
Coleção para 20200519 em incidentes de origem do indicador.Abertura concluída
Exiba o tempo médio gasto em um registro para processar condições adicionais que foram definidas nos indicadores.
Tempo médio para processar condição de indicador adicional para cada registro: 138 ms
Etapas da função mapear/reduzir
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
A função mapear/reduzir é executada.
Aplicando a função mapear/reduzir para a origem do indicador Incidentes.Aberto
Aviso se a indexação de texto estiver ativa para o trabalho, mas não puder ser executada devido a uma configuração de índice de texto ausente ou inválida.
Ignorando a coleta de índice de texto, pois a configuração do índice de texto está ausente ou é inválida
Processe cada registro na origem do indicador para calcular as pontuações. As mensagens de log rastreiam o total de execução de registros processados.
Cada vez que o número de pontuações ou snapshots resultantes excede um limite, todos os objetos são descarregados para o banco de dados HSQL. O descarregamento é registrado após a conclusão da função mapear/reduzir.
O processamento de cada registro envolve:
Execute ou avalie qualquer script.
Valide as condições do indicador.
Calcule a pontuação do indicador.
Para cada detalhamento:
Calcule a pontuação de detalhamento ou execute o script de detalhamento.
Recupere todos os valores exclusivos de detalhamento.
Crie ou atualize a matriz para pontuações ou snapshots. A matriz é: Indicador, Detalhamento 1, Artefato 1, Detalhamento 2, Artefato 2, Domínio, Valor, Matriz de [sys_id]
15,8% (3) registros processados
Processados 31,6% (6) registros
47,4% (9) registros processados
Processados 63,2% (12) registros
Processados 78,9% (15) registros
94,7% (18) registros processados
100% (4) registros processados, tamanho do objeto de resultado: 20 MB
