Mapear dados brutos do log

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 6 min. de leitura

    • O mapeamento de dados de log brutos que são transmitidos para sua instância determina como os dados são tratados. Análise de logs de integridade estrutura logs automaticamente, cria métricas para detecção de anomalias e apresenta alertas com base em como seus dados são marcados.

    Antes de Iniciar

    Função necessária: evt_mgmt_admin

    Por Que e Quando Desempenhar Esta Tarefa

    Por padrão, Análise de logs de integridade tenta mapear automaticamente todas as linhas de log de entrada para o marcador correto. Se as propriedades não forem descobertas automaticamente, mapeie as fontes de entrada de dados manualmente, definindo uma função JavaScript.

    Na função JavaScript, você deve mapear somente o serviço de aplicativos. O mapeamento do componente e do tipo de origem é opcional: Análise de logs de integridade tenta extrair seus valores dos dados de log automaticamente. Se a tentativa falhar, ela atribuirá os valores padrão. Se você mapear o componente, mas não o tipo de origem ou vice-versa, o sistema tentará extrair o valor ausente dos dados do log. Se falhar, ele atribuirá o valor do componente ao tipo de origem ou vice-versa, dependendo de qual você mapeou. Este recurso é compatível com a aplicação Análise de logs de integridade, versão 20.0.11 - julho de 2021, disponível na ServiceNow Store.

    Nota:

    (Somente entradas de dados ACC) Quando o Agent Client Collector alterna para um MID Server diferente para fornecer proteção de failover, ele deve alternar para uma entrada de dados ACC diferente. Portanto, todas as entradas de dados do ACC devem ter a mesma função JavaScript. Análise de logs de integridade fornece a função JavaScript publicada mais recente para todas as entradas de dados do ACC existentes e futuras, substituindo o script anterior. Este recurso é compatível com a aplicação Análise de logs de integridade, versão 22.0.12 - dezembro de 2021 e posterior, disponível na ServiceNow Store. Para obter informações sobre proteção de failover em Agent Client Collector Log Analytics (ACC-L), consulte Agent Client Collector Análise de logs.

    Nota:
    Você pode manipular dados de log brutos antes que Análise de logs de integridade os mapeie e estruture. Para obter mais informações, consulte Editar dados brutos de log antes do processamento.

    Procedimento

    1. Navegar até Todos > Análise de logs de integridade > Mapeamento > Mapeamento de entrada de dados.
    2. Abra um registro.
      Nota:
      Na primeira vez em que o formulário Mapeamento de entrada de dados é exibido, Análise de logs de integridade busca amostras de log automaticamente. Nas sessões subsequentes, busque novas amostras selecionando Atualizar amostras.
      Nota:
      Se o Análise de logs de integridade mecanismo de IA estiver inativo e os dados pararem de ser transmitidos, uma notificação será exibida na parte superior da página Mapeamento de entrada de dados. Quando isso acontecer, entre em contato com o suporte do ServiceNow.
    3. Opcional: Para encaminhar a mensagem de log bruta completa, desabilite a detecção automática de propriedades do cabeçalho para esta entrada de dados selecionando Desabilitar detecção de cabeçalho.
      Para obter mais informações, consulte Detecção de propriedades do cabeçalho.
    4. Opcional: Ative o modo de teste definindo o valor do modo de teste como ativado.
      No modo de teste, Análise de logs de integridade não cria os tipos de origem, origens ou quaisquer outros objetos que ele cria no fluxo padrão para evitar estourar o armazenamento Elasticsearch com dados de amostra. Para obter mais informações, consulte Mapeamento e mapeamento automático de dados de log.
    5. Opcional: Veja como a função JavaScript atual afeta as linhas de log.
      1. Adicione uma mensagem de exemplo no campo Testar amostra manual.
      2. Selecione Ir.
      3. Observe como a função JavaScript afeta as linhas de log.
    6. No campo Amostra de entrada bruta, escolha uma amostra de log que mostrará o efeito da sua nova função JavaScript nas linhas de log ao testá-la.
    7. Defina uma função JavaScript que mapeia suas fontes de entrada de dados para o serviço de aplicações, componente e tipo de origem corretos.
      Nota:
      (Somente entradas de dados ACC) Certifique-se de que sua função JavaScript possa ser usada para lidar com dados transmitidos por todas as entradas de dados ACC.
      1. No console JavaScript, altere a função JavaScript padrão fornecida, modifique uma função JavaScript personalizada existente ou defina uma nova.
        Nota:
        Além da função JavaScript padrão, Análise de logs de integridade fornece modelos de função JS para mapeamento de dados para Linux logs de SO transmitidos com syslog e Windows logs de eventos transmitidos com Filebeat ou com Winlogbeat logs de eventos transmitidos com Winlogbeat. Os modelos podem atuar como ponto de partida para o seu código de script personalizado. Este recurso é compatível com a aplicação Análise de logs de integridade, versão 20.0.11 - julho de 2021, disponível na ServiceNow Store.
        Tabela 1. Modelos de função JavaScript
        Modelo Descrição
        Linux Logs do SO transmitidos com o Syslog Script usado para mapear logs Linux. Mapeia logs dos vários daemons para os tipos de origem, componentes e serviços de aplicações corretos.
        Nota:
        Os logs devem ter um wrapper de syslog para que esta função JavaScript funcione corretamente.
        Windows Log de eventos transmitido com Filebeat Script usado para mapear Windows Logs de eventos transmitidos com Filebeat. Mapeia e agrupa os vários serviços Windows para tipos de origem, componentes e serviços de aplicações
        Windows – Winlogbeat logs transmitidos com Winlogbeat Script usado para mapear Windows Logs de eventos transmitidos com Winlogbeat. Mapeia os vários serviços Windows para os tipos de origem, componentes e serviços de aplicações corretos.
        A função JavaScript para mapear dados de log brutos usa os seguintes objetos:
        • Assinatura: mapa de função (amostra, metadados)
          Objeto Descrição
          amostra A amostra de log atual após o pré-processamento.
          metadados Objeto que contém:
          • Fluxo de eventos: acesse via:<metadata value> . Por exemplo: metadata.eventStream.origin
          • Transformar cabeçalho 1: acesso via:<metadata value> . Por exemplo: metadata.headers.i1.type
          • Transformar cabeçalho 2: acesso via:<metadata value> . Por exemplo: metadata.headers.i2.type
          • tipo Transformar cabeçalho 3: acesso via:<metadata value> . Por exemplo: metadata.headers.i3.type
          • Atribuição de fallback: acesso via:<metadata value> . Por exemplo: metadata.fallBacks.host
        • Retornar tipo e estrutura
          Nota:
          A função JavaScript retorna um mapa de duas entradas. Não mude esta estrutura de retorno.
          Objeto Descrição
          applicationService O serviço de aplicativos existente ao qual esta amostra será atribuída.
          Nota:
          O serviço de aplicativos deve ser vinculado a alertas de anomalia relacionados ao log.
          componente O componente ao qual esta amostra será atribuída.
          sourceType O tipo de origem ao qual esta amostra será atribuída.
        • Para descartar uma mensagem de log, chame return drop().
      2. Teste a função JavaScript selecionando Testar.

        Testar a função JavaScript permite que você exiba o resultado do script na amostra de log. Para obter uma descrição dos campos exibidos, consulte Campos de resultado de teste de função JavaScript.

        Nota:
        Se sua nova função JavaScript não estiver se comportando conforme o esperado, você poderá reverter para a última função publicada selecionando o link relacionado Reverter função JS.
      3. Opcional: Faça os ajustes necessários e teste a função JavaScript novamente.
      4. Opcional: Compare o resultado de vários testes.
        Comparar os resultados de testes de várias versões da função JavaScript pode ajudar a refinar o script até que ele atinja o resultado desejado.
    8. Quando tiver finalizado a função JavaScript, selecione Salvar modelo para salvá-lo.
      Você pode salvar a função JavaScript como um novo modelo ou substituir o modelo selecionado no momento.
      • Para salvar a função JavaScript como um novo modelo, insira um novo nome no campo Nome do modelo.
      • Para substituir o modelo atualmente selecionado no campo de modelos de função JS, deixe o campo Nome do modelo em branco.
    9. Selecione Publicar para salvar a função JavaScript no banco de dados.

    Resultado

    Quando a função JavaScript é publicada, Análise de logs de integridade a usa para mapear fontes de entrada de dados.

    O novo script é adicionado automaticamente à lista de modelos de função JS que você pode escolher. Este recurso é compatível com a aplicação Análise de logs de integridade, versão 20.0.11 - julho de 2021, disponível na ServiceNow Store.

    (Somente entradas de dados ACC) Análise de logs de integridade fornece a função JavaScript publicada para todas as entradas de dados ACC existentes e futuras. A nova função JavaScript substitui o script anterior.

    O que Fazer Depois

    • (Opcional) Edite seus dados brutos de log antes que Análise de logs de integridade os mapeie e estruture. Se você quiser executar esta tarefa imediatamente, clique no link relacionado Ir para pré-processador para prosseguir para a página Pré-processador de entrada de dados.
    • (Opcional) Ajuste a forma como o sistema lê os dados de log refinando a estrutura do tipo de origem. Esta etapa permite reclassificar propriedades classificadas automaticamente e alterar rótulos mapeados automaticamente.