Mapeamento e mapeamento automáticos de dados de log

Por padrão, o. Análise de logs de integridadeO mecanismo de IA tenta mapear automaticamente cada linha de log de entrada para os marcadores corretos. Você pode alterar os resultados do mapeamento automático manualmente definindo uma função JavaScript.

Mapeamento automático de linhas de log de entrada

Análise de logs de integridade o mapeamento automático atribui amostras de log e metadados a três marcadores: instância de serviço, componente e tipo de origem. A atribuição da instância de serviço é baseada na instância de serviço especificada na configuração de entrada de dados. Os marcadores restantes são atribuídos automaticamente.

Por exemplo, na linha de log de exemplo a seguir, Análise de logs de integridadeusa o campo "origem" para encontrar o componente e o tipo de origem.

{"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786} 

No exemplo, Análise de logs de integridadeextrai a cadeia de caracteres "online_store". Ele analisa os seguintes campos se eles existirem na linha de log: Origem, caminho, canal, namespace_name, nome, pod_name, source_name e aws_lambda_name. Quando os dados são enviados por SYSLOG, ele também analisa o marcador SYSLOG.

Pare a extração de dados desnecessários

Se uma cadeia de caracteres extraída não for descritiva o suficiente ou contiver texto ou informações redundantes, você poderá parar de extrair esses dados dispensáveis. Para obter mais informações, consulte Pare a extração de dados de log desnecessários.

Garantindo a extração de dados específicos

Você pode ter certeza disso Análise de logs de integridadeextrai termos desejados específicos. Para obter mais informações, consulte Garanta a extração de dados de log específicos.

Mapeando fontes de entrada de dados

Você pode alterar os resultados do mapeamento automático manualmente definindo uma função JavaScript. Mapeamento de entrada de dados permite que você organize seus dados de log por instância de serviço e por zona de disponibilidade. Uma única instância de serviço pode incluir vários componentes, e um componente pode receber logs de muitos tipos de origem diferentes. Um par de componente-instância de serviço, no entanto, é exclusivo. Os tipos de origem são baseados em uma estrutura e formato de log específicos. As instâncias e componentes de serviço são definidos de forma mais ampla e, portanto, são usados principalmente para mapeamento lógico.

Ativando Modo de teste evita explodir Elasticsearcharmazenamento com dados de amostra que são usados somente para aperfeiçoar o mapeamento de dados de log. Quando a entrada de dados está no modo de teste, Análise de logs de integridadenão cria os tipos de origem, origens ou quaisquer outros objetos criados no fluxo padrão. Ele salva os dados transmitidos em temporário dedicado ElasticsearchÍndices que aparecem como componentes no Visualizador de logs. Quando você publica o script e sai do modo de teste, esses índices temporários são excluídos para minimizar o consumo de espaço de armazenamento.

Ao definir uma função JavaScript, selecione Teste para exibir o resultado do script como ele está especificado no momento. Esta funcionalidade permite visualizar os tipos e origens de origem criados. Em seguida, você pode refinar o script até que ele atinja o resultado desejado. Por exemplo, pode ser útil comparar o resultado do teste de várias versões da função JavaScript.

Nota:

Por padrão, o teste processa 100 amostras de dados de log. Você pode personalizar este número nas propriedades do sistema. Para obter mais informações, consulte Configurar global Análise de logs de integridadepropriedades do sistema.

Durante a configuração da entrada de dados, o sistema pode criar um número total excessivo de fontes de entrada de dados. Por exemplo, isso pode ser devido a um script de mapeamento defeituoso. Você pode configurar limites para o número de origens criadas por entrada de dados no propriedades do sistema :

Propriedade do sistema	Descrição	Padrão
log_source.sources_warning_limit	O limite de aviso para o número de origens criadas por entrada de dados.	500
log_source.sources_critical_limit	O limite crítico para o número de origens criadas por entrada de dados.	600

O número de origens de log que uma entrada de dados específica criou é exibido no Contagem de origens campo para essa entrada de dados. Quando o número total de origens criadas durante a configuração da entrada de dados atinge o limite de aviso, o sistema envia uma notificação de aviso por e-mail. Também exibe uma mensagem no Mapeamento de entrada de dados , Origens de log e. Entrada de dados páginas. A notificação e a mensagem incluem o número total de origens criadas até o momento e as três entradas de dados que contribuíram com a maioria das fontes para este total. Se nenhuma ação for realizada, o sistema continuará a criar origens até que o número total atinja o limite crítico. Quando isso acontece, a configuração da entrada de dados e o fluxo de todas as entradas de dados param automaticamente. Você não pode iniciar as entradas de dados novamente manualmente até que o problema seja resolvido. Você pode resolver este estado seguindo as instruções em Como lidar com muitas fontes em entradas de dados [KB0963067] artigo no Now SupportBase de conhecimento.

Vinculando dados de log

Vinculando dados de log a itens de configuração (ICs) no Configuration Management Database (CMDB)Permite pesquisar endpoints no CMDB que correspondam a um log. Ao configurar uma entrada de dados, vincule entradas de log a uma instância de serviço que está vinculada a um IC no CMDB. A vinculação de entradas de log, instâncias de serviço e ICs habilita Análise de logs de integridadeMecanismo de IA para correlacioná-los para uso na análise de causa raiz (RCA). Para mais informações, confira Configurar Rsyslog, Filebeat ou Winlogbeat ou Configurar Elasticsearchentradas de dados.

• Mapeie dados brutos de log
  O mapeamento de dados brutos de log que são transmitidos para sua instância determina como os dados são manipulados. Análise de logs de integridadeestrutura logs automaticamente, cria métricas para detecção de anomalias e apresenta alertas com base em como seus dados são marcados.
• Exiba os relacionamentos entre os tipos de origem e as origens de log
  Explore os relacionamentos muitos para muitos entre os tipos de origem e as origens de log em Análise de logs de integridadepara ajudar você a otimizar o mapeamento de entrada de dados.
• Detecção de propriedades do cabeçalho
  Em Análise de logs de integridade, a detecção automática de propriedades do cabeçalho separa o cabeçalho de transporte da mensagem de log interna e encaminha somente a mensagem de log interna para a estrutura do tipo de origem. A mensagem interna contém os dados de log reais sem incluir informações de envio.
• Pare a extração de dados de log desnecessários
  Se uma cadeia de caracteres extraída de dados não for descritiva o suficiente ou contiver texto ou informações redundantes, você poderá definir Análise de logs de integridadepara parar de extrair esses dados de seus logs.
• Garanta a extração de dados de log específicos
  Definido Análise de logs de integridadepara extrair termos especificados de campos e mapeá-los para componentes específicos.