Configure um Splunk entrada de dados em Análise de logs de integridade manualmente

Configure uma entrada de dados para transmitir mensagens de log para seu ServiceNow instância usando um Splunk forwarder pesado.

Antes de Iniciar

• Verifique se um MID Server Está instalado e configurado com o recurso de ingestão de log habilitado. Para obter mais informações, consulte MID Server system requirements.

  

  Importante:

  Análise de logs de integridade Não é compatível com IPv6. Para trabalhar com a aplicação, configure o. MID Server Para IPv4.
• . MID Server O endereço IP é exposto por meio da conversão de endereços de rede (NAT), de um balanceador de carga ou de um dispositivo semelhante, o. MID Server Deve ter um endereço IP público para ser acessado por clientes externos, como Filebeat agentes, localizados fora de sua rede. Endereços IP privados não são roteáveis pela Internet, portanto, sem um IP público, esses clientes externos não podem se conectar ao MID Server mesmo se eles estiverem configurados com seu endereço. Em MID Server, adicione uma propriedade chamada mid.public_ipCom o endereço IP público como o valor. Para obter mais informações, consulte Crie uma propriedade do MID Server .
  Nota:

  . MID Server E os clientes externos estão na mesma rede, um IP público não é necessário e as conexões podem ser feitas usando o endereço IP privado.
• Para enviar seus logs criptografados usando SSL TLS, consulte Streaming de dados com rsyslog e Filebeat usando SSL [KB0866319] artigo no Now Support Base de conhecimento.

• Configurar Splunk para encaminhar logs para seu ServiceNow Instância usando Syslog.
• A configuração desta entrada de dados pressupõe a existência de uma variável de ambiente chamada SPLUNK_HOME. Em ambientes semelhantes ao Unix, essa variável normalmente aponta para /opt/splunk .
  Nota:

  . Windows o ambiente usa a mesma estrutura de diretórios, mas com barras invertidas.

Função necessária: evt_mgmt_admin

Por Que e Quando Desempenhar Esta Tarefa

Este procedimento de configuração é para logs de streaming para sua instância usando um Splunk forwarder pesado. Se você não puder usar um forwarder pesado, poderá usar um Splunk Encaminhador universal. Para obter mais informações, consulte Splunk Universal Forwarder como método de envio [KB0961378] artigo na Base de conhecimento do Now Support.

A partir do Yokohama versão da família, você pode usar nova Splunk entradas de dados para ingerir dados no formato de encaminhamento de log pré-processado ("preparado") que Splunk usa por padrão. No modo Cozido, o. Splunk o encaminhador incorpora detalhes de configuração, como host, tipo de origem, origem e outras configurações nos dados de log. Ingerindo os dados no HLA neste formato verificado que cada linha de log retém todas as informações contextuais relevantes. Se você estiver usando a opção de dados preparados em HLA não há necessidade de editar o. props.conf e. transforms.conf arquivos durante Splunk configuração de entrada de dados.

Nota:

Todos os arquivos de configuração do Splunk estão localizados em SPLUNK_HOME/etc/system/local/ pasta. Se um arquivo de configuração que você precisa modificar não existir, crie-o e salve-o nesta pasta.

Nota:

. MID Server que esteja inativo pode causar um bloqueio no seu Splunk pipeline. Uma fila de processamento completa não afeta o pipeline.

Procedimento

1. Navegar até Tudo > Análise de logs de integridade > Entrada de dados > Entradas de dados.
2. Na página Entradas de dados, selecione Novo .
3. Escolha Splunk entrada de dados para logs de streaming por meio de um Splunk forwarder pesado ou remetente universal .
4. Em Introdução preencha os campos do formulário.
   Para obter uma descrição dos campos, consulte Splunk campos de configuração de entrada de dados.
5. Em Outputs.conf , adicione as seguintes estrozas ao outputs.conf arquivo para fazer o expedidor encaminhar dados de log pelo protocolo de transporte selecionado na porta selecionada e selecione Próximo .
   Nota:

   Se você já configurou saídas, mescle essas linhas com sua configuração existente.
   • Encaminhamento por TCP:
     Nota:

     Use a primeira estrofe somente se você ainda não configurou uma estrofe tcpout. A segunda estrofe é necessária para encaminhar para Análise de logs de integridade Por TCP.

     
     [tcpout]
     indexAndForward = 1
     defaultGroup = nothing
     
     [tcpout:health_log_analytics]
     server = ip-172-31-17-121.us-east-2.compute.internal:5000
     sendCookedData = false
     compressed = false
     

   • Encaminhamento por UDP:
     Nota:

     Use a primeira estrofe somente se você ainda não tiver configurado uma estrofe do syslog. A segunda estrofe é necessária para encaminhar para Análise de logs de integridade Em UDP.

     
     [syslog]defaultGroup = nothing
     
     [syslog:health_log_analytics]
     server = ip-172-31-17-121.us-east-2.compute.internal:5000
     

6. Em Props.conf , edite props.conf arquivo e selecione Próximo .
   Nota:

   Se você selecionou Use Dados preparados opção no Introdução não há necessidade de editar o. props.conf arquivo.
   1. Modifique estroâncias existentes ou adicione estrofes para marcar tipos de origem, instâncias de serviço e hosts para encaminhamento Análise de logs de integridade.
      Nota:

      Para obter melhores resultados, marque somente os tipos de origem para encaminhamento.

      Ao adicionar estrofes, use os seguintes formatos de nome:

      • Tipos de origem: [ <source type>]. Por exemplo: [Syslog]
      • Fontes (não recomendado): [Source::: <source>]. Por exemplo, [source::myapp]
      • Hosts (não recomendado): [Host::<host>]. Por exemplo, [host::10,9.8,7]
   2. Adicione a seguinte linha ao final de cada estrofe para a qual você deseja encaminhar Análise de logs de integridade TCP ou UDP.
      • Encaminhamento por TCP:

        TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla

      • Encaminhamento por UDP:

        TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

        Esta linha aplica a transformação CLONE_SOURCETYPE nos dados para impedir a manipulação necessária para Análise de logs de integridade processamento de afetar seu pipeline de dados existente. Por exemplo, para enviar todos os logs do tipo de origem "syslog" para Análise de logs de integridade:

        [syslog]
                                            #existing configuration goes here
                                            TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

   3. Adicione a estrofe a seguir para aplicar todas as transformações relevantes necessárias para Análise de logs de integridade processando.
      Nota:

      Splunk permite anonimizar dados confidenciais no tipo de origem clonada para o protocolo selecionado. Para obter mais informações, consulte a seção "Anonimizar dados" em Documentação do Splunk .

      • Encaminhamento por TCP:

        [send_to_hla_tcp]
        TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

      • Encaminhamento por UDP:

        [send_to_hla_udp]
        TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

7. Em Transforms.conf , adicione as seguintes estrozas ao transforms.conf arquivo e selecione Próximo .
   Nota:

   Se você selecionou Use Dados preparados opção no Introdução não há necessidade de editar o. transforms.conf arquivo.

   A terceira estrofe clona os logs para manipulação adicional sem afetar sua indexação existente. As estrozas restantes adicionam as informações necessárias para habilitar a correção Análise de logs de integridade processando.

   Nota:

   Você pode ofuscar dados confidenciais adicionando uma transformação aqui e modificando a estrofe do tipo de origem clonada no props.conf arquivo.

   [accepted_keys]
   #Custom field for preserving sourcetype
   hla_sourcetype_preservation=_hla_sourcetype
   
   #Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
   [clone_for_hla_store_sourcetype]
   SOURCE_KEY = MetaData:Sourcetype
   REGEX = ^sourcetype::(.+)$
   FORMAT = hla_sourcetype::$1
   DEST_KEY = _hla_sourcetype
   
   [clone_for_hla]
   REGEX=.
   DEST_KEY = _TCP_ROUTING
   FORMAT = health_log_analytics
   CLONE_SOURCETYPE=send_to_hla_tcp
   
   #Only used in case of UDP forwarding
   [clone_for_hla_udp]
   REGEX=.
   DEST_KEY = _SYSLOG_ROUTING
   FORMAT = health_log_analytics
   CLONE_SOURCETYPE=send_to_hla_udp
   
   #Add metadata to the log message, since metadata is lost when forwarding externally
   [health_log_analytics_add_sourcetype]
   SOURCE_KEY = _hla_sourcetype
   REGEX = ^hla_sourcetype::(.+)$
   FORMAT = sourcetype="$1"] $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_host]
   SOURCE_KEY = MetaData:Host
   REGEX = ^host::(.+)$
   FORMAT = host="$1" $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_source]
   SOURCE_KEY = MetaData:Source
   REGEX = ^source::(.+)$
   FORMAT = source="$1" $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_syslog5424]
   REGEX=.
   FORMAT = - - [sdid@1234 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_index]
   SOURCE_KEY = _MetaData:Index
   REGEX = ^(.+)$
   FORMAT = $1 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_syslogHost]
   SOURCE_KEY = MetaData:Host
   REGEX = ^host::(.+)$
   FORMAT = $1 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_time]
   SOURCE_KEY = _time
   REGEX = ^(.+)$
   FORMAT = <182>1 $1 $0
   DEST_KEY = _raw

8. Em Finish.conf reiniciar Splunk executando o. SPLUNK_HOME/bin/splunk Reinicia o splunkd comando.
9. Selecione Save (Salvar).
   Análise de logs de integridade Adiciona o registro de entrada de dados à tabela Entradas de dados.
10. Selecione para verificar se a entrada de dados está configurada corretamente Conexão de teste .

    Análise de logs de integridade tenta conectar o. MID Server para o repositório de dados.

    • Se a conexão foi estabelecida, o. Conexão de teste e o botão está desativado e Publicar o botão está habilitado.
    • Se a conexão falhar, o motivo da falha será exibido no Mensagem de erro campo. Este campo é exibido somente quando ocorre um erro de fluxo.

      Resolva o problema, selecione Salvar se você modificou a configuração e selecione Conexão de teste para testar a conexão novamente.

      Nota:

      Você só pode publicar a configuração de entrada de dados quando a conexão é criada com sucesso.

    Nota:

    Você pode reverter para a última configuração publicada selecionando Reverter mudanças . Esta opção está disponível somente quando você está modificando uma configuração que foi publicada anteriormente.
11. Selecione Publicar para publicar a entrada de dados no MID Server.

Resultado

O processo de configuração da entrada de dados está concluído. Análise de logs de integridade adiciona o registro de entrada de dados ao Entradas de dados e anexa o arquivo de configuração ao registro de entrada de dados. A entrada de dados começa a transmitir dados de log para seu ServiceNow instância usando um Splunk expedidor.

Nota:

. HLA o mecanismo está inativo e o fluxo de dados parou, uma notificação é exibida na parte superior da página de configuração da entrada de dados. Quando isso acontecer, entre em contato ServiceNow suporte.

O que Fazer Depois

Certifique-se de que a entrada de dados seja dados de streaming.

Tarefas relacionadas

• Definir configurações avançadas para Rsyslog, Splunk Ou entradas de dados TCP em Análise de logs de integridade manualmente