Mapeamento e mapeamento automáticos de dados de log

  • Versão de lançamento: Xanadu
  • Atualizado 1 de ago. de 2024
  • 4 min. de leitura

    • Por padrão, o Análise de logs de integridade mecanismo de IA tenta mapear automaticamente cada linha de log de entrada para os marcadores corretos. Você pode alterar os resultados do mapeamento automático manualmente definindo uma função JavaScript.

    Mapeamento automático de linhas de log de entrada

    Análise de logs de integridade O mapeamento automático atribui amostras de log e metadados a três marcadores: serviço de aplicativos, componente e tipo de origem. A atribuição de serviço de aplicativos é baseada no serviço de aplicativos especificado na configuração de entrada de dados. Os marcadores restantes são atribuídos automaticamente.

    Por exemplo, na linha de log de exemplo a seguir, Análise de logs de integridade usa o campo "origem" para localizar o componente e o tipo de origem.

    {"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786}

    No exemplo, Análise de logs de integridade extrai a cadeia de caracteres "online_store". Ele analisa os seguintes campos se eles existirem na linha de log: source, path, channel, namespace_name, name, pod_name, source_name e aws_lambda_name. Quando os dados são enviados pelo Syslog, eles também analisam o marcador syslog.

    Interromper extração de dados desnecessários
    Se uma cadeia de caracteres extraída não for descritiva o suficiente ou contiver texto ou informações redundantes, você poderá parar de extrair esses dados dispensáveis. Para obter mais informações, consulte Interromper extração de dados de log desnecessários.
    Como garantir a extração de dados específicos
    Você pode garantir que Análise de logs de integridade extraia termos específicos desejados. Para obter mais informações, consulte Garantir a extração de dados de log específicos.

    Origens de entrada de dados de mapeamento

    Você pode alterar os resultados do mapeamento automático manualmente definindo uma função JavaScript. O mapeamento de entrada de dados permite que você organize os dados de log por serviço de aplicativos e por zona de disponibilidade. Um único serviço de aplicativos pode incluir vários componentes e um componente pode receber logs de muitos tipos de origem diferentes. Um par de serviço de aplicativos-componente, no entanto, é exclusivo. Os tipos de origem são baseados em uma estrutura e formato de log específicos. Os serviços e componentes de aplicações são definidos de forma mais ampla e, portanto, são usados principalmente para mapeamento lógico.

    Ativar o modo de teste evita o estouro do armazenamento Elasticsearch com dados de amostra que são usados somente para aprimorar o mapeamento de dados de log. Quando a entrada de dados está no modo de teste, Análise de logs de integridade não cria os tipos de origem, as origens ou quaisquer outros objetos que cria no fluxo padrão. Ele salva os dados transmitidos em índices temporários Elasticsearch dedicados que aparecem como componentes no Visualizador de logs. Quando você publica o script e sai do modo de teste, esses índices temporários são excluídos para minimizar o consumo de espaço de armazenamento.

    Ao definir uma função JavaScript, selecione Testar para exibir o resultado do script conforme especificado no momento. Esta funcionalidade permite que você visualize os tipos de origem e as origens criadas. Você pode refinar o script até que ele atinja o resultado desejado. Por exemplo, pode ser útil comparar o resultado do teste de várias versões da função JavaScript.
    Nota:
    Por padrão, o teste processa 100 amostras de dados de log. Você pode personalizar este número nas propriedades do sistema. Para obter mais informações, consulte Configurar propriedades do sistema global Análise de logs de integridade.
    Durante a configuração de entrada de dados, o sistema pode criar um número total excessivo de fontes de entrada de dados. Por exemplo, isso pode ser devido a um script de mapeamento com falha. Você pode configurar limites para o número de origens criadas por entrada de dados nas propriedades do sistema:
    Propriedade do sistema Descrição Padrão
    sn_occ.sources_warning_limit O limite de aviso para o número de origens criadas por entrada de dados. 500
    sn_occ.sources_critical_limit O limite crítico para o número de origens criadas por entrada de dados. 600
    O número de origens de log que uma entrada de dados específica criou é exibido no campo Contagem de origens para essa entrada de dados. Quando o número total de origens criadas durante a configuração de entrada de dados atinge o limite de aviso, o sistema envia uma notificação de aviso por e-mail. Ele também exibe uma mensagem nas páginas Mapeamento de entrada de dados, Origens de loge Entrada de dados. A notificação e a mensagem incluem o número total de origens criadas até o momento e as três entradas de dados que contribuíram com a maioria das origens para esse total. Se nenhuma ação for realizada, o sistema continuará a criar origens até que o número total atinja o limite crítico. Quando isso acontece, a configuração de entrada de dados e o fluxo de todas as entradas de dados são interrompidos automaticamente. Você não pode iniciar as entradas de dados novamente manualmente até que o problema seja resolvido. Você pode resolver esse estado seguindo as instruções no artigo Como lidar com muitas fontes em entradas de dados [KB0963067] na Base de conhecimento Now Support.

    Vinculando dados de log

    A vinculação de dados de log a itens de configuração (ICs) no Configuration Management Database (CMDB) permite que você pesquise no CMDB endpoints que correspondam a um log. Ao configurar uma entrada de dados, você vincula entradas de log a um serviço de aplicativos que está vinculado a um IC no CMDB. A vinculação de entradas de log, serviços de aplicações e ICs permite que o mecanismo de IA Análise de logs de integridade os correlacione para uso na análise de causa raiz (RCA). Para mais informações, confira Configurar entradas de dados (Rsyslog, Filebeat ou Winlogbeat) ou Configurar entradas de dados (Elasticsearch).