Refinar a estrutura do tipo de origem

  • Versão de lançamento: Xanadu
  • Atualizado 1 de ago. de 2024
  • 8 min. de leitura

    • Ajuste com precisão como Análise de logs de integridade lê suas mensagens de log interno e detecta anomalias, personalizando as propriedades extraídas na estrutura do tipo de origem.

    Antes de Iniciar

    Função necessária: evt_mgmt_admin

    Procedimento

    1. Navegar até Todos > Análise de logs de integridade > Entradas de dados > Estrutura do tipo de origem.
    2. Abra um registro.
      Nota:
      • Por padrão, a extração automática é selecionada para fazer com que Análise de logs de integridade separe automaticamente o cabeçalho de transporte da mensagem de log interno.
      • Na primeira vez em que o formulário Estrutura do tipo de origem é exibido, Análise de logs de integridade busca amostras de log automaticamente. Nas sessões subsequentes, busque as amostras mais recentes selecionando Atualizar amostras.
    3. Opcional: Veja como a função JavaScript atual afeta as linhas de log.
      1. Adicione uma mensagem de exemplo no campo Amostra manual de teste.
      2. Selecione Ir.
      3. Na guia Mapeamento de chave/valor, observe como a função JavaScript afeta as linhas de log.
    4. No campo Amostra de entrada bruta, escolha uma mensagem de log.

      Quando você testa sua função JavaScript, Análise de logs de integridade usa esta mensagem de exemplo para mostrar o efeito conjunto da extração automática e da função JavaScript nas linhas de log.

      Os seguintes campos são somente leitura:
      Campo Descrição
      Duração (ms) O tempo de processamento de todas as amostras, em milissegundos.
      Solto O número total de logs descartados em todas as amostras.
      Erros O número total de erros que ocorreram em todas as amostras.
      Falhas de extração do carimbo de data/hora O número de falhas de extração de carimbo de data/hora que ocorreram em todas as amostras.
      Falhas de extração de gravidade O número total de falhas de extração de gravidade que ocorreram em todas as amostras.
      Falhas de extração de mensagem O número total de falhas de extração de mensagens que ocorreram em todas as amostras.
      Propriedades demoradas O número total de propriedades demoradas em todas as amostras.
      Propriedades longas são propriedades com mais de 256 caracteres.
      Nota:
      Como Análise de logs de integridade não extrai essas propriedades, elas não são indexadas como palavras-chave em Elasticsearch.
    5. Defina uma função JavaScript que personaliza as propriedades extraídas automaticamente ou adiciona propriedades à estrutura do tipo de origem.
      1. No console do JavaScript, altere a função JavaScript padrão fornecida, modifique uma função JavaScript personalizada existente ou defina uma nova.
        Nota:
        Além da função JavaScript padrão, Análise de logs de integridade fornece vários modelos de função JS para refinar a estrutura do tipo de origem. Os modelos podem atuar como ponto de partida para o código de script personalizado. Este recurso é compatível com a aplicação Análise de logs de integridade, Versão 20.0.11 - julho de 2021, disponível na ServiceNow Store.
        Modelos de função JS Descrição
        Extrair Key_Values usando Regex

        Script usado para analisar logs em uma série de pares de chave:valor usando expressões regulares para identificar padrões regex específicos. Dependendo dos dados de log enviados para o tipo de origem, ele analisa a mensagem interna ou a linha de log completa. Você pode exibir como os dados aparecem nas amostras que são carregadas na estrutura do tipo de origem.

        Este processo é iterativo; ele é repetido até que todos os pares de chave:valor sejam encontrados.
        Extrair Key_Values usando split-regex

        Script usado para analisar logs em uma série de pares de chave:valor usando expressões regulares para identificar padrões regex específicos. Este processo captura os valores em um formulário LIST primeiro e, em seguida, usa a função de divisão Java para criar os pares de chave:valor.

        Dependendo de como os dados aparecem na entrada bruta, esta função pode ser mais eficiente do que Extrair Key_Values usando Regex. A entrada bruta é a mensagem interna que a detecção de cabeçalho transmite ou o log bruto completo se a detecção de cabeçalho estiver desabilitada ou não funcionar nesse log específico.
        Análise de JSON - nivelar Script usado para extrair informações de JSON que fazem parte de outra cadeia de caracteres de texto da entrada bruta. Por exemplo, as informações podem ser uma solicitação JSON gravada como parte de uma mensagem interna mais longa.

        As seções JSON internas são difíceis de dividir. Nesses casos, este script pode ser usado para "nivelar" ou analisar os pares de chave:valor.
        Extrair um novo campo da entrada bruta Script usado para extrair um novo campo da entrada bruta usando uma expressão regular com grupos de captura para identificar o padrão do novo campo.
        Analisar formato XML Script usado para extrair pares de chave:valor do XML usando uma expressão regular para identificar o formato XML.

        Este processo é iterativo; ele é repetido até que todos os pares de chave:valor sejam encontrados.
        Definir nível de severidade numérico como valores textuais Script usado para converter valores numéricos de severidade em seus valores de severidade textuais correspondentes.
        Nota:
        Para permitir que o sistema identifique corretamente o nível de severidade de um log, a severidade deve ser fornecida em formato de texto. Nenhum valor numérico de severidade deve permanecer.
        Função de corte Script usado para remover aspas duplas que cercam a cadeia de caracteres de VALUE.

        Você pode adaptar esta função para remover quaisquer outros caracteres que cercam o VALOR de saída de um par chave:valor.
        A função JavaScript para refinar a estrutura do tipo de origem usa os seguintes objetos:
        Tabela 1. Assinatura - construção de função (amostra, saída)
        Objeto Descrição
        amostra A mensagem interna extraída da mensagem de amostra.
        saída Objeto que contém o mapa do par de chave-valor.
      2. Teste a função JavaScript selecionando Testar.
      3. Exiba o resultado da função JavaScript nas listas relacionadas e faça mudanças, se necessário.
        • A guia Mapeamento de chave/valor mostra o efeito da função JavaScript combinada com a extração automática do sistema na amostra de entrada bruta.

          Você pode modificar as chaves quando apropriado.

          • O campo Classificação permite redefinir a classificação de uma propriedade. Os tipos disponíveis são:
            Tipo Descrição Exemplo
            Medidor Uma propriedade com essa classificação detecta anomalias no número de vezes que a propriedade aparece em cada mensagem de log. Ele apresenta mudanças na quantidade deste valor como parte da análise automática de causa raiz.
            Nota:
            As propriedades classificadas como medidor consomem recursos.
            		 Códigos de status, códigos de resposta, ações ou padrões
            Medidor Uma propriedade com essa classificação detecta anomalias em um valor numérico que é relatado continuamente.
            Nota:
            Propriedades com uma classificação de Medidor consomem recursos.
            		 CPU, memória ou tempo de resposta
            Medidor atemporal Uma propriedade com essa classificação detecta anomalias em um valor numérico que não é relatado continuamente. O sistema notifica sobre uma anomalia neste valor, independentemente de quando a anomalia ocorreu.
            Nota:
            Este recurso é compatível com a aplicação Análise de logs de integridade, Versão 20.0.11 - julho de 2021, disponível na ServiceNow Store.
            Causa raiz automática (somente ARC) Uma propriedade com esta classificação relata a propriedade como parte da análise automática de causa raiz de outra anomalia e não como uma anomalia por si só. Nome de usuário, endereços IP, componentes da aplicação ou datacenter
            Inválida Uma propriedade com essa classificação não é calculada ou mostrada na análise automática de causa raiz.
            Nota:
            Propriedades classificadas como Recursos de salvamento inválidos.
          • O campo Rótulos a serem atribuídos permite que você defina uma propriedade em um rótulo.
            Rótulo Descrição
            Carimbo de data/hora A propriedade que contém o carimbo de data/hora do evento.
            Nota:
            Se a detecção automática de propriedades do cabeçalho estiver habilitada e o tipo de origem não tiver um carimbo de data/hora, o sistema extrairá o carimbo de data/hora do cabeçalho de transporte. Se a detecção de cabeçalho estiver desabilitada ou não funcionar para as linhas de log relevantes na entrada de dados, todas as linhas de log deverão ter carimbos de data/hora apropriados.
            Gravidade A propriedade que representa o nível de severidade do log.
            Mensagem A mensagem de log. O sistema usa essa propriedade para identificar padrões textuais nos dados.
            Host A propriedade que representa o host do qual o evento foi enviado.
            Nota:
            Se a detecção automática de propriedades de cabeçalho estiver habilitada e o tipo de origem não tiver um host, o sistema extrairá o host do cabeçalho de transporte. Se a detecção de cabeçalho estiver desabilitada ou não funcionar para as linhas de log relevantes na entrada de dados, todas as linhas de log deverão ter um host.
            Identificador externo A propriedade que serve como um identificador exclusivo para este tipo de evento. Por exemplo, ID do evento no log de eventos do Windows.
          • O campo Renomear chave permite renomear a chave.
        • A guia Valor-chave de resultado mostra como sua função JavaScript processou os dados.
        • As guias restantes mostram erros, falhas de extração de mensagem, falhas de extração de gravidade, falhas de extração de carimbo de data/hora e propriedades demoradas.
        Nota:
        Se sua nova função JavaScript não estiver se comportando conforme o esperado, você poderá reverter para a última publicada selecionando o link relacionado Reverter função JS.
      4. Opcional: Faça os ajustes necessários e teste a função JavaScript novamente.
    6. Selecione a opção Salvar modelo para salvar a função JavaScript.
      Você pode salvar a função JavaScript como um novo modelo ou substituir o modelo selecionado no momento.
      • Para salvar a função JavaScript como um novo modelo, insira um novo nome no campo Nome do modelo.
      • Para substituir o modelo selecionado atualmente no campo de modelos de função JS, deixe o campo Nome do modelo em branco.
    7. Selecione Publicar para salvar a função JavaScript no banco de dados.

    Resultado

    Quando a função JavaScript é publicada, Análise de logs de integridade a usa para ajustar como ele lê as mensagens de log interno e detecta anomalias.

    O novo script é adicionado automaticamente à lista de modelos de função JS que você pode escolher. Este recurso é compatível com a aplicação Análise de logs de integridade, Versão 20.0.11 - julho de 2021, disponível na ServiceNow Store.

    O que Fazer Depois

    Continue com as tarefas de configuração de entrada de dados restantes: verifique se todas as origens de log estão presentes e ativas e adicione formatos de carimbo de data/hora, se necessário.