Mapeamento automático de dados e mapeamento em log em Análise de logs de integridade

Por padrão, o HLA O mecanismo tenta mapear automaticamente cada linha de log de entrada para os marcadores corretos. Você pode mudar os resultados do mapeamento automático manualmente definindo uma função JavaScript.

Mapeamento automático de linhas de log de entrada

Análise de logs de integridade o mapeamento automático atribui amostras de log e metadados a três marcadores: instância de serviço, componente e tipo de origem. A atribuição de instância de serviço é baseada na instância de serviço especificada na configuração de entrada de dados. Os marcadores restantes são atribuídos automaticamente.

Por exemplo, no exemplo de linha de log a seguir, Análise de logs de integridade usa o campo "origem" para encontrar o componente e o tipo de origem.

{"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786} 

No exemplo, Análise de logs de integridade extrai a cadeia de caracteres "online_store". Se eles existirem na linha de log, ele analisa os seguintes campos: Origem, caminho, canal, namespace_name, nome, pod_name, source_name e aws_lambda_name. Quando os dados são enviados pelo Syslog, ele também analisa o marcador do syslog.

Interrompa a extração de dados desnecessários

Se uma cadeia de caracteres extraída não for descritiva o suficiente ou contiver texto ou informações redundantes, você poderá parar de extrair esses dados dispensáveis. Para obter mais informações, consulte Interrompa a extração de dados de log desnecessários em Análise de logs de integridade.

Garantindo a extração de dados específicos

Você pode ter certeza disso Análise de logs de integridade extrai termos desejados específicos. Para obter mais informações, consulte Extraia dados de log específicos em Análise de logs de integridade.

Mapeamento de fontes de entrada de dados

Você pode mudar os resultados do mapeamento automático manualmente definindo uma função JavaScript. Mapeamento de entrada de dados permite que você organize seus dados de log por instância de serviço e por zona de disponibilidade. Uma única instância de serviço pode incluir vários componentes e um componente pode receber logs de muitos tipos de origem diferentes. Um par de instância-componente de serviço, no entanto, é exclusivo. Os tipos de origem são baseados em uma estrutura e formato de log específicos. As instâncias de serviço e os componentes são definidos de forma mais ampla e, portanto, são usados principalmente para mapeamento lógico.

Ativando Modo de teste evita explodir Elasticsearch armazenamento com dados de amostra que são usados somente para aperfeiçoar o mapeamento de dados de log. Quando a entrada de dados está no modo de teste, Análise de logs de integridade não cria os tipos de origem, as origens ou quaisquer outros objetos que cria no fluxo padrão. Salva os dados transmitidos em temporários dedicados ElasticsearchÍndices que aparecem como componentes no Visualizador de logs. Quando você publica o script e sai do modo de teste, esses índices temporários são excluídos para minimizar o consumo de espaço de armazenamento.

Ao definir uma função JavaScript, selecione Teste para exibir o resultado do script como ele está especificado no momento. Esta funcionalidade permite que você visualize os tipos e as origens de origem criados. Você pode refinar o script até que ele atinja o resultado desejado. Por exemplo, pode ser útil comparar o resultado do teste de várias versões da função JavaScript.

Nota:

Por padrão, o teste processa 100 amostras de dados de log. Você pode personalizar esse número nas propriedades do sistema. Para obter mais informações, consulte Configurar global Análise de logs de integridade propriedades do sistema.

Durante a configuração da entrada de dados, o sistema pode criar um número total excessivo de fontes de entrada de dados. Por exemplo, isso pode ser devido a um script de mapeamento defeituoso. Você pode configurar limites para o número de origens criadas por entrada de dados no propriedades do sistema :

Propriedade do sistema	Descrição	Padrão
log_source.sources_warning_limit	O limite de aviso para o número de origens criadas por entrada de dados.	500
log_source.sources_critical_limit	O limite crítico para o número de origens criadas por entrada de dados.	600

O número de origens de log que uma entrada de dados específica criou é exibido no Contagem de origens campo para essa entrada de dados. Quando o número total de origens criadas durante a configuração da entrada de dados atinge o limite de aviso, o sistema envia uma notificação de aviso por e-mail. Também exibe uma mensagem no Mapeamento de entrada de dados , Origens de log e Entrada de dados páginas. A notificação e a mensagem incluem o número total de origens criadas até o momento e as três entradas de dados que contribuíram com a maioria das fontes para esse total. Se nenhuma ação for realizada, o sistema continuará a criar origens até que o número total atinja o limite crítico. Quando isso acontece, a configuração da entrada de dados e a transmissão de todas as entradas de dados são interrompidas automaticamente. Você não pode iniciar entradas de dados novamente manualmente até que o problema seja resolvido. Você pode resolver este estado seguindo as instruções em Como lidar com muitas fontes em entradas de dados [KB0963067] artigo no Now Support Base de conhecimento.

Vincular dados de log

Vinculando dados de log a itens de configuração (ICs) no Configuration Management Database (CMDB) Permite que você pesquise endpoints no CMDB que correspondam a um log. Ao configurar uma entrada de dados, você vincula entradas de log a uma instância de serviço que está vinculada a um IC no CMDB. A vinculação de entradas de log, instâncias de serviço e ICs habilita HLA Mecanismo para correlacioná-los para uso na análise de causa raiz (RCA). Para mais informações, confira Configure um Rsyslog, Filebeat ou Winlogbeat entrada de dados em Análise de logs de integridade manualmente ou Configure um Elasticsearch entrada de dados em Análise de logs de integridade manualmente.

• Mapear dados brutos de log em Análise de logs de integridade
  Mapear dados brutos de log que são transmitidos para sua instância determina como os dados são tratados. Análise de logs de integridade estrutura logs automaticamente, cria métricas para detecção de anomalias e apresenta alertas com base em como seus dados são marcados.
• Exiba os relacionamentos entre os tipos de origem e as origens de log em Análise de logs de integridade
  Explore os relacionamentos muitos para muitos entre os tipos de origem e as origens de log para ajudá-lo a otimizar o mapeamento de entrada de dados.
• Detecção de propriedades do cabeçalho em Análise de logs de integridade
  Em Análise de logs de integridade a detecção automática de propriedades do cabeçalho separa o cabeçalho de transporte da mensagem de log interna e encaminha somente a mensagem de log interna para a estrutura do tipo de origem. A mensagem interna contém os dados de log reais sem incluir informações de envio.
• Extraia dados de log específicos em Análise de logs de integridade
  Definido Análise de logs de integridade para extrair termos especificados de logs e mapeá-los para componentes específicos.
• Interrompa a extração de dados de log desnecessários em Análise de logs de integridade
  Se uma cadeia de caracteres extraída de dados não for descritiva o suficiente ou contiver texto ou informações redundantes, você poderá definir Análise de logs de integridade para parar de extrair esses dados de seus logs.