Refine a estrutura do tipo de origem em Análise de logs de integridade
Ajuste como Análise de logs de integridade lê suas mensagens de log internas e detecta anomalias personalizando as propriedades extraídas na estrutura de tipo de origem.
Antes de Iniciar
Para entender melhor os motivos para ajustar propriedades classificadas automaticamente e rótulos mapeados automaticamente na estrutura de tipo de origem, consulte Ajuste da estrutura do tipo de origem em Análise de logs de integridade.
Função necessária: evt_mgmt_admin
Procedimento
- Navegar até Tudo > Análise de logs de integridade > Entradas de dados > Estrutura do tipo de origem.
-
Abra um registro.
Nota:
- Por padrão, Extração automática selecionado para fazer Análise de logs de integridade separe automaticamente o cabeçalho de transporte da mensagem de log interna.
- Na primeira vez que o formulário Estrutura de tipo de origem for exibido, Análise de logs de integridade busca amostras de log automaticamente. Em sessões subsequentes, obtenha as amostras mais recentes selecionando Atualizar amostras .
- Opcional:
Exiba como a função JavaScript atual afeta as linhas de log.
- Adicione uma mensagem de exemplo no Amostra manual de teste campo.
- Selecione Ir .
- Em Mapeamento de chave/valor Observe como a função JavaScript afeta as linhas de log.
-
Em Amostra de entrada bruta escolha uma mensagem de log.
Quando você testa sua função JavaScript, Análise de logs de integridade Usa esta mensagem de amostra para mostrar o efeito conjunto da extração automática e a função JavaScript nas linhas de log.
Os seguintes campos são somente leitura:Campo Descrição Duração (ms) O tempo de processamento de todas as amostras, em milissegundos. Solto O número total de logs descartados em todas as amostras. Erros O número total de erros que ocorreram em todas as amostras. Falhas de extração do carimbo de data/hora O número de falhas de extração de carimbo de data/hora que ocorreram em todas as amostras. Falhas de extração de gravidade O número total de falhas de extração de gravidade que ocorreram em todas as amostras. Falhas de extração de mensagem O número total de falhas de extração de mensagem que ocorreram em todas as amostras. Propriedades longas O número total de propriedades longas em todas as amostras. Propriedades longas são propriedades com mais de 256 caracteres.Nota:Porque Análise de logs de integridade não extrai essas propriedades, elas não são indexadas como palavras-chave em Elasticsearch. -
Defina uma função JavaScript que personalize propriedades extraídas automaticamente ou adicione propriedades à estrutura do tipo de origem.
-
No console JavaScript, altere a função JavaScript padrão fornecida, modifique uma função JavaScript personalizada existente ou defina uma nova.
Nota:Além da função JavaScript padrão, Análise de logs de integridade Fornece vários modelos de função JS para refinar a estrutura do tipo de origem. Os modelos podem atuar como um ponto de partida para seu código de script personalizado. Este recurso é compatível com Análise de logs de integridade Versão 20.0.11 - julho de 2021, disponível em ServiceNow Store .
A função JavaScript para refinar a estrutura do tipo de origem usa os seguintes objetos:Modelos de função JS Descrição Extraia Key_Values usando Regex Script usado para analisar logs em uma série de pares chave:valor usando expressões regulares para identificar padrões regex específicos. Dependendo dos dados de log que estão sendo enviados para o tipo de origem, ele analisa a mensagem interna ou a linha de log completa. Você pode exibir como os dados aparecem nas amostras que são carregadas na estrutura de tipo de origem.
Este processo é iterativo; ele é repetido até que todos os pares de chave:valor sejam encontrados.
Extraia Key_Values usando split-regex Script usado para analisar logs em uma série de pares chave:valor usando expressões regulares para identificar padrões regex específicos. Primeiro, este processo captura os valores em um formulário DE LISTA e, em seguida, usa a função de divisão Java para criar os pares chave:valor.
Dependendo de como os dados aparecem na entrada bruta, esta função pode ser mais eficiente do que
Extraia Key_Values usando Regex. A entrada bruta é a mensagem interna que a detecção de cabeçalho passa ou o log bruto completo se a detecção de cabeçalho estiver desabilitada ou não funcionar nesse log específico.Análise JSON - Planificar Script usado para extrair informações JSON que fazem parte de outra cadeia de caracteres de texto da entrada bruta. Por exemplo, as informações podem ser uma solicitação JSON escrita como parte de uma mensagem interna mais longa. Seções JSON internas são difíceis de dividir. Em tais casos, este script pode ser usado para "nivelar" ou analisar os pares chave:valor.
Extraia um novo campo da entrada bruta Script usado para extrair um novo campo da entrada bruta usando uma expressão regular com grupos de captura para identificar o padrão do novo campo. Analisar o formato XML Script usado para extrair pares de chave:valor do XML usando uma expressão regular para identificar o formato XML. Este processo é iterativo; ele é repetido até que todos os pares de chave:valor sejam encontrados.
Defina o nível de gravidade numérica como valores textuais Script usado para converter valores de severidade numérica em seus valores de severidade textual correspondentes. Nota:Para permitir que o sistema identifique corretamente o nível de gravidade de um log, a gravidade deve ser fornecida em formato de texto. Nenhum valor numérico de gravidade deve permanecer.Função de corte Script usado para remover as aspas duplas que envolvem a cadeia de caracteres do VALOR. Você pode adaptar esta função para remover quaisquer outros caracteres que circundam o VALOR de saída de um par chave:valor.
Tabela 1. Construção de função (amostra, saída) Objeto Descrição amostra A mensagem interna extraída da mensagem de amostra. saída Objeto que contém o mapa de par de chave-valor. - Teste a função JavaScript selecionando Teste .
-
Exiba o resultado da função JavaScript nas listas relacionadas e faça mudanças, se necessário.
- . Mapeamento de chave/valor Mostra o efeito da sua função JavaScript combinada com a extração automática do sistema em sua amostra de entrada bruta.
Você pode modificar chaves quando apropriado.
- . Classificação o campo permite redefinir a classificação de uma propriedade. Os tipos disponíveis são:
Tipo Descrição Exemplo Medidor Uma propriedade com esta classificação detecta anomalias no número de vezes que a propriedade aparece em cada mensagem de log. Ele apresenta mudanças na quantidade deste valor como parte da análise automática de causa raiz. Nota:As propriedades classificadas como Medidor consomem recursos.Códigos de status, códigos de resposta, ações ou padrões Medidor Uma propriedade com esta classificação detecta anomalias em um valor numérico que é relatado continuamente. Nota:As propriedades com uma classificação de Medidor consomem recursos.CPU, memória ou tempo de resposta Medidor atemporal Uma propriedade com esta classificação detecta anomalias em um valor numérico que não é relatado continuamente. O sistema notifica sobre uma anomalia neste valor, independentemente de quando a anomalia ocorreu. Nota:Este recurso é compatível com Análise de logs de integridade Versão 20.0.11 - julho de 2021, disponível em ServiceNow Store .Causa raiz automática (somente ARC) Uma propriedade com esta classificação relata a propriedade como parte da análise automática de causa raiz de outra anomalia e não como uma anomalia por si só. Nome de usuário, endereços IP, componentes da aplicação ou datacenter Inválido Uma propriedade com esta classificação não é calculada ou mostrada na análise de causa raiz automática. Nota:Propriedades classificadas como Recursos de salvamento inválidos. - . Rótulos a serem atribuídos o campo permite que você defina uma propriedade em um rótulo.
Rótulo Descrição Carimbo de data/hora A propriedade que contém o carimbo de data/hora do evento. Nota:Se automático detecção de propriedades do cabeçalho está habilitado e o tipo de origem não tem um carimbo de data/hora, o sistema extrai o carimbo de data/hora do cabeçalho de transporte. Se a detecção de cabeçalho estiver desabilitada ou não funcionar para as linhas de log relevantes na entrada de dados, todas as linhas de log deverão ter carimbos de data/hora apropriados.Gravidade A propriedade que representa o nível de severidade do log. Mensagem A mensagem de log. O sistema usa essa propriedade para identificar padrões textuais nos dados. Host A propriedade que representa o host do qual o evento foi enviado. Nota:Se automático detecção de propriedades do cabeçalho está habilitado e o tipo de origem não tem um host, o sistema extrai o host do cabeçalho de transporte. Se a detecção de cabeçalho estiver desabilitada ou não funcionar para as linhas de log relevantes na entrada de dados, todas as linhas de log deverão ter um host.ID externo A propriedade que serve como um identificador exclusivo para este tipo de evento. Por exemplo, ID do evento no log de eventos do Windows. - . Renomear chave o campo permite renomear a chave.
- . Classificação o campo permite redefinir a classificação de uma propriedade. Os tipos disponíveis são:
- . Valor-chave do resultado Mostra como sua função JavaScript processou os dados.
- . Mapeamentos de entrada de dados mostra os mapeamentos de entrada de dados para o tipo de origem atual.
. Hora do último evento A coluna nesta guia mostra a última data e hora em que o mecanismo de IA processou um log para o mapeamento de entrada de dados. O sistema atualiza essas informações a cada 5 minutos. Saber quando o último log foi processado para este mapeamento de entrada de dados facilita a verificação de se os dados de log estão sendo transmitidos.
- As guias restantes mostram erros, falhas de extração de mensagens, falhas de extração de gravidade, falhas de extração de carimbo de data/hora e propriedades demoradas.
Nota:Se sua nova função JavaScript não estiver se comportando conforme o esperado, você poderá reverter para a última função publicada selecionando Reverter função JS link relacionado. - . Mapeamento de chave/valor Mostra o efeito da sua função JavaScript combinada com a extração automática do sistema em sua amostra de entrada bruta.
- Opcional: Faça os ajustes necessários e teste a função JavaScript novamente.
-
No console JavaScript, altere a função JavaScript padrão fornecida, modifique uma função JavaScript personalizada existente ou defina uma nova.
-
Selecione Salvar modelo Opção para salvar a função JavaScript.
Você pode salvar a função JavaScript como um novo modelo ou substituir o modelo selecionado no momento.
- Para salvar a função JavaScript como um novo modelo, insira um novo nome em Nome do modelo campo.
- Para substituir o modelo selecionado no momento em Modelos de função JS saia do Nome do modelo campo vazio.
- Selecione Publicar Para salvar a função JavaScript no banco de dados.
Resultado
O novo script é adicionado automaticamente à lista de modelos de função JS dos quais você pode escolher. Este recurso é compatível com Análise de logs de integridade Versão 20.0.11 - julho de 2021, disponível em ServiceNow Store .
O que Fazer Depois
Continue com tarefas de configuração de entrada de dados restantes : Verifique se todas as suas origens de log estão presentes e ativas e adicione formatos de carimbo de data/hora, se necessário.