Configurar Splunk entradas de dados

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 7 min. de leitura
  • Configure uma entrada de dados para transmitir mensagens de log para sua instância ServiceNow usando um encaminhador pesado Splunk.

    Antes de Iniciar

    • Certifique-se de que um MID Server esteja instalado e configurado com a capacidade de ingestão de log habilitada.

      Configuração do MID Server com capacidade de ingestão de log habilitada.

      Importante:
      Análise de logs de integridade não é compatível com IPv6. Para trabalhar com a aplicação, configure o MID Server para IPv4.
    • Se o endereço IP MID Server for exposto pela conversão de endereço de rede (NAT), um balanceador de carga ou um dispositivo semelhante, ele deverá ter um endereço IP público. Nas propriedades MID Server, adicione uma propriedade chamada mid.public_ip com o endereço IP público como o valor. Para obter mais informações, consulte Criar uma propriedade do MID Server.
    • Para obter informações sobre como enviar seus logs criptografados usando SSL TLS, consulte o artigo Streaming de dados com Rsyslog e Filebeat usando SSL [KB0866319] na Base de conhecimento Now Support.
    • Configure Splunk para encaminhar logs para sua instância ServiceNow usando o Syslog.
    • A configuração desta entrada de dados pressupõe a existência de uma variável de ambiente chamada $SPLUNK_HOME. Em ambientes do tipo Unix, essa variável normalmente aponta para /opt/splunk.
      Nota:
      O ambiente Windows usa a mesma estrutura de diretórios, mas com barras invertidas (\).

    Função necessária: evt_mgmt_admin

    Por Que e Quando Desempenhar Esta Tarefa

    Este procedimento de configuração é para transmitir logs para sua instância usando um encaminhador pesado Splunk. Se você não puder usar um encaminhador pesado, poderá usar um Encaminhador universal Splunk. Para obter mais informações, consulte o artigo Encaminhador universal do Splunk como método de envio [KB0961378] na Base de conhecimento do Now Support.

    A partir da versão da família Yokohama, você pode usar novas entradas de dados Splunk para ingerir dados no formato de encaminhamento de log pré-processado ("cozido") que Splunk usa por padrão. No modo combinado, o encaminhador Splunk incorpora detalhes de configuração, como host, tipo de origem, origem e outras configurações nos dados de log. A ingestão dos dados em HLA neste formato garante que cada linha de log retenha todas as informações contextuais relevantes. Se você estiver usando a opção de dados preparados em HLA, não será necessário editar os arquivos props.conf e transforms.conf durante a configuração de entrada de dados Splunk.

    Nota:
    Todos os arquivos de configuração do Splunk estão localizados na pasta $SPLUNK_HOME/etc/system/local/. Se um arquivo de configuração que você precisa modificar não existir, crie-o e salve-o nesta pasta.
    Nota:
    Um MID Server inativo pode causar um bloqueio no pipeline Splunk. Uma fila de processamento cheia não afeta o pipeline.

    Procedimento

    1. Navegar até Tudo > Análise de logs de integridade > Entrada de dados > Entradas de dados.
    2. Na página Entradas de dados, selecione Novo.
    3. Escolha a Splunk entrada de dados para logs de streaming por meio de um Splunk encaminhador pesado ou encaminhador universal.
    4. Na guia Introdução, preencha os campos do formulário.
      Para obter uma descrição dos campos, consulte Splunk campos de configuração de entrada de dados.
    5. Na guia Saídas.conf, adicione os seguintes parâmetros ao arquivo saídas.conf para fazer com que o remetente encaminhe os dados de log sobre o protocolo de transporte selecionado na porta selecionada e selecione Avançar.
      Nota:
      Se você já configurou as saídas, mescle essas linhas com a configuração existente.
      • Encaminhamento por TCP:
        Nota:
        Use o primeiro parâmetro somente se você ainda não tiver configurado um parâmetro tcpout. O segundo parâmetro é necessário para encaminhar para Análise de logs de integridade sobre TCP.
        
        [tcpout]
        indexAndForward = 1
        defaultGroup = nothing
        
        [tcpout:health_log_analytics]
        server = ip-172-31-17-121.us-east-2.compute.internal:5000
        sendCookedData = false
        compressed = false
        
      • Encaminhamento por UDP:
        Nota:
        Use o primeiro parâmetro somente se você ainda não tiver configurado um parâmetro syslog. O segundo parâmetro é necessário para encaminhar para Análise de logs de integridade sobre UDP.
        
        [syslog]defaultGroup = nothing
        
        [syslog:health_log_analytics]
        server = ip-172-31-17-121.us-east-2.compute.internal:5000
        
    6. Na guia Props.conf, edite o arquivo props.conf e selecione Avançar.
      Nota:
      Se você selecionou a opção Usar dados preparados na guia Introdução, não há necessidade de editar o arquivo props.conf.
      1. Modifique os parâmetros existentes ou adicione parâmetros para marcar tipos de origem, instâncias de serviço e hosts para encaminhamento para Análise de logs de integridade.
        Nota:
        Para obter melhores resultados, marque somente tipos de origem para encaminhamento.
        Ao adicionar estrofes, use os seguintes formatos de nome:
        • Tipos de origem: [<source type>]. Por exemplo: [syslog]
        • Origens (não recomendado): [source::<source>]. Por exemplo, [source::myApp]
        • Hosts (não recomendados): [host::<host> ]. Por exemplo, [host::10.9.8.7]
      2. Adicione a seguinte linha ao final de cada parâmetro que você deseja encaminhar para Análise de logs de integridade em TCP ou UDP.
        • Encaminhamento por TCP:
          TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla
        • Encaminhamento por UDP:
          TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

          Esta linha aplica a transformação CLONE_SOURCETYPE nos dados para impedir que a manipulação necessária para o processamento de Análise de logs de integridade afete o pipeline de dados existente. Por exemplo, para enviar todos os logs do tipo de origem "syslog" para Análise de logs de integridade:

          [syslog]
                                              #existing configuration goes here
                                              TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
      3. Adicione o seguinte parâmetro para aplicar todas as transformações relevantes necessárias para o processamento de Análise de logs de integridade.
        Nota:
        Splunk O permite anonimizar dados confidenciais no tipo de origem clonado para o protocolo selecionado. Para obter mais informações, consulte a seção "Dados anônimos" na documentação do Splunk.
        • Encaminhamento por TCP:
          [send_to_hla_tcp]
          TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
        • Encaminhamento por UDP:
          [send_to_hla_udp]
          TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
    7. Na guia Transforms.conf, adicione os seguintes parâmetros ao arquivo transforms.conf e selecione Avançar.
      Nota:
      Se você selecionou a opção Usar dados preparados na guia Introdução, não há necessidade de editar o arquivo transforms.conf.

      O terceiro parâmetro clona os logs para manipulação adicional sem afetar a indexação existente. Os enunciados restantes adicionam as informações necessárias para habilitar o processamento Análise de logs de integridade correto.

      Nota:
      Você pode ofuscar dados confidenciais adicionando uma transformação aqui e modificando o parâmetro do tipo de origem clonado no arquivo props.conf.
      [accepted_keys]
      #Custom field for preserving sourcetype
      hla_sourcetype_preservation=_hla_sourcetype
      
      #Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
      [clone_for_hla_store_sourcetype]
      SOURCE_KEY = MetaData:Sourcetype
      REGEX = ^sourcetype::(.+)$
      FORMAT = hla_sourcetype::$1
      DEST_KEY = _hla_sourcetype
      
      [clone_for_hla]
      REGEX=.
      DEST_KEY = _TCP_ROUTING
      FORMAT = health_log_analytics
      CLONE_SOURCETYPE=send_to_hla_tcp
      
      #Only used in case of UDP forwarding
      [clone_for_hla_udp]
      REGEX=.
      DEST_KEY = _SYSLOG_ROUTING
      FORMAT = health_log_analytics
      CLONE_SOURCETYPE=send_to_hla_udp
      
      #Add metadata to the log message, since metadata is lost when forwarding externally
      [health_log_analytics_add_sourcetype]
      SOURCE_KEY = _hla_sourcetype
      REGEX = ^hla_sourcetype::(.+)$
      FORMAT = sourcetype="$1"] $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_host]
      SOURCE_KEY = MetaData:Host
      REGEX = ^host::(.+)$
      FORMAT = host="$1" $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_source]
      SOURCE_KEY = MetaData:Source
      REGEX = ^source::(.+)$
      FORMAT = source="$1" $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_syslog5424]
      REGEX=.
      FORMAT = - - [sdid@1234 $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_index]
      SOURCE_KEY = _MetaData:Index
      REGEX = ^(.+)$
      FORMAT = $1 $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_syslogHost]
      SOURCE_KEY = MetaData:Host
      REGEX = ^host::(.+)$
      FORMAT = $1 $0
      DEST_KEY = _raw
      
      [health_log_analytics_add_time]
      SOURCE_KEY = _time
      REGEX = ^(.+)$
      FORMAT = <182>1 $1 $0
      DEST_KEY = _raw
    8. Na guia Concluir.conf, reinicie Splunk executando o comando $SPLUNK_HOME/bin/splunk restart splunkd.
    9. Selecione Save (Salvar).
      Análise de logs de integridade adiciona o registro de entrada de dados à tabela Entradas de dados.
    10. Certifique-se de que a entrada de dados esteja configurada corretamente selecionando Testar conexão.

      Análise de logs de integridade tenta conectar o MID Server ao repositório de dados.

      • Se a conexão tiver sido estabelecida, o botão Testar conexão será desativado e o botão Publicar será habilitado.
      • Se a conexão falhar, o motivo da falha será exibido no campo Mensagem de erro. Este campo é exibido somente quando ocorre um erro de fluxo.

        Resolva o problema, selecione Salvar se você modificou a configuração e selecione Testar conexão para testar a conexão novamente.

        Nota:
        Você só pode publicar a configuração de entrada de dados quando a conexão é criada com sucesso.
      Nota:
      Você pode reverter para a última configuração publicada selecionando Reverter mudanças. Esta opção está disponível somente quando você está modificando uma configuração que foi publicada anteriormente.
    11. Selecione Publicar para publicar a entrada de dados no MID Server.

    Resultado

    O processo de configuração de entrada de dados está concluído. Análise de logs de integridade adiciona o registro de entrada de dados à tabela Entradas de dados e anexa o arquivo de configuração ao registro de entrada de dados. A entrada de dados começa a transmitir dados de log para sua instância ServiceNow usando um remetente Splunk.

    Nota:
    Se o Análise de logs de integridade mecanismo de IA estiver inativo e o fluxo de dados tiver sido interrompido, uma notificação será exibida na parte superior da página de configuração de entrada de dados. Quando isso acontecer, entre em contato com o suporte ServiceNow.

    O que Fazer Depois

    Certifique-se de que a entrada de dados seja de fluxo de dados.