A partir da versão Tokyo, um novo coletor de dados otimizado está disponível. Os detalhes do log deste coletor de dados diferem dos detalhes do log do coletor de dados clássico.
Visão geral da coleção
O trabalho de coleta de dados envolve a execução de uma consulta SQL para cada origem de indicador que usa o coletor de dados. A consulta se repete para cada hora de coleta da data de início até a data de parada. Em seguida, as consultas são executadas para a próxima origem de indicador. Cada etapa da execução de uma consulta é documentada no log do trabalho de coleta de dados. Figura 1. Exibição de alto nível do trabalho de coleta de dados
Como iniciar e concluir o trabalho de coleta
Siga o processo de coleta de dados conforme mostrado nas mensagens de log. As mensagens de log em cada subprocesso foram separadas em suas próprias tabelas.
Nota:
Este log é para o coletor de dados HSQL otimizado conforme descrito em Como otimizar a coleta de dados. Se com.snc.pa.dc.hsql for "falso", você estará usando o coletor de dados clássico. Caso contrário, você estará usando o coletor de dados otimizado. Para obter mais informações sobre esse log, consulte Detalhes do log do coletor de dados clássico.
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Mostra o domínio do usuário Executar como do trabalho de coleta.
Usuário<admin> pertence ao domínio global
A coleção é iniciada. O início do trabalho especifica se as pontuações, o índice de texto ou ambos estão sendo coletados. As mensagens também especificam que o coletor de dados HSQL otimizado está em uso e se os logs de depuração estão habilitados. Somente Suporte e atendimento ao cliente pode habilitar logs de depuração.
Iniciando coleção de pontuações e índice de texto. Valor das propriedades no sistema -
Usando o coletor de dados HSQL: verdadeiro
Logs de depuração habilitados: verdadeiro
Nome do nó: vsr007
Mostra os domínios para os quais as pontuações são coletadas. Também mostra outros detalhes relevantes sobre os domínios.
DomainConfig: Testando logs de coleção de configuração de domínio - 3d359877b77000106886e664de11a97c, Tipo: condições, RollUpType: roll_up_children, collectAggregate? Sim, collectChildren?: Sim, AggregateDomain: Nome: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, Domínios: Padrão,MSP,ACME,Cisco,Initech,Oceanic Lines
Lista as origens de indicador para as quais o trabalho coleta dados, incluindo seus IDs exclusivos.
Os períodos de coleta na origem do indicador foram substituídos?
A matriz de detalhamento é coletada?
Se a matriz de detalhamento for coletada, alguma combinação de detalhamento será excluída?
JobIndicator: número de incidentes em aberto - de537dc3d7131100b96d45a3ce610305 Propriedades do indicador de trabalho: collectIndicator?: Sim, BreakdownCollectionType:With_EXCLUDE Detalhamentos excluídos: Grupo de atribuição, Propriedades do indicador de estado => CollectingRecords: Sim, Períodos de coleta substituídos: Não, com script?: Não, Combinações de detalhamento?: Sim, combinações de detalhamento excluídas: nenhuma combinação foi excluída.
Incidentes de origem do indicador de processamento.Aberto
Repita que o coletor de dados HSQL otimizado está em uso.
Indicadores de lista que têm condições adicionais, além das condições herdadas da origem do indicador.
Indicador: Logins de administrador - [sys_id of indicator], Condições adicionais: ref_isc_login_event.login_type=login_admin, É registro de coleta: verdadeiro
Incidentes de origem do indicador de processamento.Novo
Etapas iteradas para cada período de coleta
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
Data de início do trabalho de coleta.
Coletando para 20191103 em Incidentes de origem do indicador. Aberto
Buscar os seguintes campos:
Os campos exclusivos das origens de detalhamento (normalmente sys_id)
Os campos de indicador usados em mapeamentos de detalhamento
Os campos de tabela usados em mapeamentos de detalhamento com script
Os campos de origem do indicador usados na análise de texto, se o índice de texto for coletado (normalmente inclui short_description)
Buscando "short_description,sys_id, opened_at, assign_group, description, priority, category" de "incident"
Gere SQL com base nas condições especificadas na origem do indicador.
Nota:
Se a origem do indicador especificar Hoje em uma das condições, Hoje será considerado relativo ao período para o qual o trabalho de coleta de dados é executado. Por exemplo, a origem do indicador Incidents.New inclui a condição [Opened][on][Today]. Com dias definidos para iniciar às 07:00:00, quando os dados são coletados para 28-10-2019, o trabalho produz o script SQL à direita.
SELECT task0.`sys_id` FROM task task0 ONDE task0.`sys_class_name` = 'incident' AND (task0.`opened_at` >= '2019-10-28 07:00:00' AND task0.`opened_at` <= '2019 -10-29 06:59:59')
Exiba o número de registros obtidos pelo SQL.
Obtidas 150 linhas de Incidentes de origem do indicador. Aberto (tabela de fatos: incidente)
Excluir resultados anteriores.
Resultados anteriores excluídos 1 para o indicador: representações
Execute a função mapear/reduzir para calcular as pontuações do indicador.
Se a indexação de texto estiver ativa e tiver sido configurada para a origem do indicador, o coletor de dados armazenará o índice de texto resultante.
Armazenando índice de texto para incidentes de origem do indicador. Aberto
Bytes usados pelo índice de texto: 41.984 para: Incidentes.Aberto
Os objetos são descarregados para o banco de dados HSQL sempre que um dos seguintes limites é excedido:
Numero de pontos
Número de snapshots
Número total de valores distintos de contagem
Número de log de vezes em que o limite de descarregamento foi excedido para cada categoria de objeto. Cada vez que o limite de descarregamento é excedido em uma categoria, todos os objetos são movidos para o armazenamento de banco de dados temporário HSQL. No final da função mapear/reduzir, todos os registros restantes são descarregados. O número de registros restantes geralmente é menor que o limite e esse descarregamento também é registrado.
Número de vezes que o limite de descarregamento ultrapassou o limite para pontuações: 275
Número de vezes que o limite de descarregamento ultrapassou o limite para snapshots: 0
Número de vezes que o limite de descarregamento ultrapassou o limite para valores distintos: 0
Descarregar lote de registros que não ultrapassaram o limite: 1
Comece a armazenar resultados recém-coletados para a origem do indicador.
Armazenando resultados coletados para a origem do indicador Incidentes.Resolvido
Qualquer indicador com um valor nulo é registrado.
'Valor quando nulo' armazenado: 0,0 como pontuação do indicador: número de incidentes desviados por conhecimento
Conclua o armazenamento dos resultados.
Resultados coletados armazenados
Especifique para quais indicadores o coletor de dados não coleta pontuações.
Não coletando para o indicador: soma da idade dos incidentes em aberto com detalhamento excluído: grupo de atribuição
Conclua a coleta de dados para essa origem de indicador para esse período.
Coleta para 20200519 em Incidentes de origem do indicador. Aberto concluído
Exiba o tempo médio gasto em um registro para processar condições adicionais que foram definidas nos indicadores.
Tempo médio necessário para processar a condição de indicador adicional para cada registro: 138 ms
Etapas da função mapear/reduzir
Etapa do trabalho de coleta
Exemplo de entrada de log resultante
A função mapear/reduzir é executada.
Aplicando a função mapear/reduzir para a origem do indicador Incidentes.Aberto
Aviso se a indexação de texto estiver ativa para o trabalho, mas não puder ser executada devido a uma configuração de índice de texto ausente ou inválida.
Ignorando a coleta de índice de texto, pois a configuração do índice de texto está ausente ou é inválida
Processe cada registro na origem do indicador para calcular as pontuações. As mensagens de log rastreiam o total em execução de registros processados.
Cada vez que o número de pontuações ou snapshots resultantes excede um limite, todos os objetos são descarregados para o banco de dados HSQL. O descarregamento é registrado após a conclusão da função mapear/reduzir.
O processamento de cada registro envolve:
Execute ou avalie qualquer script.
Valide as condições do indicador.
Calcule a pontuação do indicador.
Para cada detalhamento:
Calcule a pontuação de detalhamento ou execute o script de detalhamento.
Recupere todos os valores exclusivos de detalhamento.
Crie ou atualize a matriz para pontuações ou snapshots. A matriz é: Indicador, Detalhamento 1, Artefato 1, Detalhamento 2, Artefato 2, Domínio, Valor, Matriz de [sys_id]
15,8% (3) registros processados
31,6% (6) registros processados
47,4% (9) registros processados
63,2% (12) registros processados
78,9% (15) registros processados
94,7% (18) registros processados
100% (4) registros processados, Tamanho do objeto de resultado: 20 MB
