Configurar Splunkentradas de dados

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 6 min. de leitura
  • Configure uma entrada de dados para transmitir mensagens de log para seu ServiceNowinstância que usa um Splunkforwarder pesado.

    Antes de Iniciar

    • Certifique-se de que um MID Server Está instalado e configurado com a capacidade de ingestão de log habilitada.

      Configuração do MID Server com a capacidade de ingestão de log habilitada.

      Importante:
      Análise de logs de integridade Não é compatível com IPv6. Para trabalhar com a aplicação, configure o. MID ServerPara IPv4.
    • . MID ServerO endereço IP é exposto por conversão de endereço de rede (NAT), um balanceador de carga ou um dispositivo semelhante, ele deve ter um endereço IP público. Em MID Serverpropriedades, adicione uma propriedade chamada mid.public_ipCom o endereço IP público como o valor. Para obter mais informações, consulte Crie uma propriedade do MID Server .
    • Para obter informações sobre como enviar seus logs criptografados usando SSL TLS, consulte Streaming de dados com rsyslog e Filebeat usando SSL [KB0866319] artigo no Now SupportBase de conhecimento.
    • Configurar Splunkpara encaminhar logs para o. ServiceNowInstância que usa o SYSlog.
    • A configuração desta entrada de dados pressupõe a existência de uma variável de ambiente chamada SPLUNK_HOME. Em ambientes semelhantes ao Unix, essa variável normalmente aponta para /opt/splunk .
      Nota:
      . Windowso ambiente usa a mesma estrutura de diretórios, mas com barras invertidas.

    Função necessária: evt_mgmt_admin

    Por Que e Quando Desempenhar Esta Tarefa

    Este procedimento de configuração é para transmitir logs para sua instância usando um Splunkforwarder pesado. Se você não pode usar um forwarder pesado, você pode usar um SplunkEncaminhador universal. Para obter mais informações, consulte Remetente universal Splunk como método de envio [KB0961378] artigo na Base de conhecimento do Now Support.

    A partir de Yokohamaversão da família, você pode usar novo Splunkentradas de dados para ingerir dados no formato de encaminhamento de log pré-processado ("preparado") Splunkusos por padrão. No modo Cozido, o. Splunko encaminhador incorpora detalhes de configuração, como host, tipo de origem, origem e outras configurações nos dados de log. Ingerindo os dados em HLAnesse formato, garante que cada linha de log retenha todas as informações contextuais relevantes. Se você estiver usando a opção de dados preparados em HLA, não há necessidade de editar o. props.conf e. transforms.conf arquivos durante Splunkconfiguração de entrada de dados.

    Nota:
    Todos os arquivos de configuração do Splunk estão localizados no /SPLUNK_HOME/etc/system/local/ pasta. Se um arquivo de configuração que você precisa modificar não existir, crie-o e salve-o nesta pasta.
    Nota:
    R MID Serverque está inativo pode causar um bloqueio no seu Splunkpipeline. Uma fila de processamento completa não afeta o pipeline.

    Procedimento

    1. Navegar até Tudo > Análise de logs de integridade > Entrada de dados > Entradas de dados.
    2. Na página Entradas de dados, selecione Novo .
    3. Escolha o. Splunkentrada de dados para logs de streaming por meio de um Splunkforwarder pesado ou universal forwarder .
    4. Em Introdução preencha os campos do formulário.
      Para obter uma descrição dos campos, consulte Splunk campos de configuração de entrada de dados.
    5. Em Outputs.conf , adicione as seguintes estrozas ao outputs.conf arquivo para fazer o expedidor encaminhar dados de log pelo protocolo de transporte selecionado na porta selecionada e, em seguida, selecione Próximo .
      Nota:
      Se você já configurou saídas, mescle essas linhas com a configuração existente.
      • Encaminhamento por TCP:
        Nota:
        Use a primeira estrofe somente se você ainda não tiver configurado uma estrofe tcpout. A segunda estrofe é necessária para encaminhar para Análise de logs de integridadePor TCP.
        
        [tcpout]
        indexAndForward = 1
        defaultGroup = nothing
        
        [tcpout:health_log_analytics]
        server = ip-172-31-17-121.us-east-2.compute.internal:5000
        sendCookedData = false
        compressed = false
        
      • Encaminhamento por UDP:
        Nota:
        Use a primeira estrofe somente se você ainda não tiver configurado uma estrofe do SYSLOG. A segunda estrofe é necessária para encaminhar para Análise de logs de integridadeEm UDP.
        
        [syslog]defaultGroup = nothing
        
        [syslog:health_log_analytics]
        server = ip-172-31-17-121.us-east-2.compute.internal:5000
        
    6. Em Props.conf , edite o. props.conf e selecione Próximo .
      Nota:
      Se você selecionou Use dados preparados opção no Introdução não há necessidade de editar o. props.conf arquivo.
      1. Modifique estrofes existentes ou adicione estrofes para marcar tipos de origem, instâncias de serviço e hosts para encaminhamento Análise de logs de integridade.
        Nota:
        Para obter melhores resultados, marque somente os tipos de origem para encaminhamento.
        Ao adicionar blocos de parâmetros, use os seguintes formatos de nome:
        • Tipos de origem: [ <source type>]. Por exemplo: [SYSLOG]
        • Fontes (não recomendado): [Source:: <source>]. Por exemplo, [source::myapp]
        • Hosts (não recomendado): [Host::<host>]. Por exemplo, [host::10,9.8,7]
      2. Adicione a seguinte linha ao final de cada estrofe para a qual você deseja encaminhar Análise de logs de integridadePor TCP ou UDP.
        • Encaminhamento por TCP:
          TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla
        • Encaminhamento por UDP:
          TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

          Esta linha aplica a transformação CLONE_SOURCETYPE nos dados para evitar a manipulação necessária para Análise de logs de integridadeprocessamento de afetar seu pipeline de dados existente. Por exemplo, para enviar todos os logs do tipo de origem "SYSLOG" para Análise de logs de integridade:

          [syslog]
                                              #existing configuration goes here
                                              TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
      3. Adicione a estrofe a seguir para aplicar todas as transformações relevantes necessárias para Análise de logs de integridadeprocessando.
        Nota:
        Splunk permite anonimizar dados confidenciais no tipo de origem clonada para o protocolo selecionado. Para obter mais informações, consulte a seção "Anonimizar dados" no Documentação do Splunk .
        • Encaminhamento por TCP:
          [send_to_hla_tcp]
          TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
        • Encaminhamento por UDP:
          [send_to_hla_udp]
          TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
    7. Em Transforms.conf , adicione as seguintes estrozas ao transforms.conf e selecione Próximo .
      Nota:
      Se você selecionou Use dados preparados opção no Introdução não há necessidade de editar o. transforms.conf arquivo.

      A terceira estrofe clona os logs para manipulação adicional sem afetar sua indexação existente. As estrozas restantes adicionam as informações necessárias para habilitar a correção Análise de logs de integridadeprocessando.

      Nota:
      Você pode ofuscar dados confidenciais adicionando uma transformação aqui e modificando a estrofe do tipo de origem clonada no props.conf arquivo.
      [accepted_keys]
      #Custom field for preserving sourcetype
      hla_sourcetype_preservation=_hla_sourcetype
      
      #Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
      [clone_for_hla_store_sourcetype]
      SOURCE_KEY = MetaData:Sourcetype
      REGEX = ^sourcetype::(.+)$
      FORMAT = hla_sourcetype::$1
      DEST_KEY = _hla_sourcetype
      
      [clone_for_hla]
      REGEX=.
      DEST_KEY = _TCP_ROUTING
      FORMAT = health_log_analytics
      CLONE_SOURCETYPE=send_to_hla_tcp
      
      #Only used in case of UDP forwarding
      [clone_for_hla_udp]
      REGEX=.
      DEST_KEY = _SYSLOG_ROUTING
      FORMAT = health_log_analytics
      CLONE_SOURCETYPE=send_to_hla_udp
      
      #Add metadata to the log message, since metadata is lost when forwarding externally
      [health_log_analytics_add_sourcetype]
      SOURCE_KEY = _hla_sourcetype
      REGEX = ^hla_sourcetype::(.+)$
      FORMAT = sourcetype="$1"] $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_host]
      SOURCE_KEY = MetaData:Host
      REGEX = ^host::(.+)$
      FORMAT = host="$1" $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_source]
      SOURCE_KEY = MetaData:Source
      REGEX = ^source::(.+)$
      FORMAT = source="$1" $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_syslog5424]
      REGEX=.
      FORMAT = - - [sdid@1234 $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_index]
      SOURCE_KEY = _MetaData:Index
      REGEX = ^(.+)$
      FORMAT = $1 $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_syslogHost]
      SOURCE_KEY = MetaData:Host
      REGEX = ^host::(.+)$
      FORMAT = $1 $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_time]
      SOURCE_KEY = _time
      REGEX = ^(.+)$
      FORMAT = <182>1 $1 $0
      DEST_KEY = _raw
    8. Em Finish.conf reiniciar Splunkexecutando o. SPLUNK_HOME/bin/splunk Reinicia o splunk comando.
    9. Selecione Salvar.
      Análise de logs de integridade Adiciona o registro de entrada de dados à tabela Entradas de dados.
    10. Certifique-se de que a entrada de dados esteja configurada corretamente selecionando Conexão de teste .

      Análise de logs de integridadetenta conectar o. MID Serverpara o repositório de dados.

      • Se a conexão foi estabelecida, o. Conexão de teste o botão está desligado e o. Publicar o botão está habilitado.
      • Se a conexão falhar, o motivo da falha será exibido no Mensagem de erro campo. Este campo é exibido somente quando ocorre um erro de fluxo.

        Resolva o problema, selecione Salvar se você modificou a configuração e selecione Conexão de teste para testar a conexão novamente.

        Nota:
        Você só pode publicar a configuração de entrada de dados quando a conexão for criada com sucesso.
      Nota:
      Você pode reverter para a última configuração publicada selecionando Reverter mudanças . Esta opção só está disponível quando você está modificando uma configuração que foi publicada anteriormente.
    11. Selecione Publicar para publicar a entrada de dados no MID Server.

    Resultado

    O processo de configuração de entrada de dados está concluído. Análise de logs de integridadeadiciona o registro de entrada de dados ao Entradas de dados e anexa o arquivo de configuração ao registro de entrada de dados. A entrada de dados inicia o fluxo de dados de log para seu ServiceNowinstância que usa um Splunkexpedidor.

    O que Fazer Depois

    Certifique-se de que a entrada de dados esteja transmitindo dados.