Configurer une Splunk entrée de données manuellement Analyse de l'intégrité des journaux

Configurez une entrée de données pour diffuser les messages du journal vers votre ServiceNow instance à l’aide d’un Splunk redirecteur lourd.

Avant de commencer

• Vérifiez qu’un Serveur MID est installé et configuré avec l’aptitude d’ingestion de journal activée. Pour plus d'informations, consultez MID Server system requirements.

  

  Important :

  Analyse de l'intégrité des journaux ne prend pas en charge IPv6. Pour utiliser l'application, configurez le Serveur MID sur IPv4.
• Lorsque l’adresse IP est exposée via la traduction d’adresses Serveur MID réseau (NAT), un équilibreur de charge ou un appareil similaire, elle doit disposer d’une Serveur MID adresse IP publique pour être accessible par des clients externes, tels que Filebeat des agents, situés en dehors de son réseau. Les adresses IP privées ne sont pas routables sur Internet, donc sans adresse IP publique, ces clients externes ne peuvent pas se connecter même Serveur MID s’ils sont configurés avec son adresse. Dans les propriétés Serveur MID, ajoutez une propriété nommée mid.public_ip avec l'adresse IP publique comme valeur. Pour plus d'informations, voir Créer une propriété de MID Server.
  Remarque :

  Si les clients externes se trouvent sur le même réseau, une adresse IP publique n’est Serveur MID pas nécessaire et les connexions peuvent être établies à l’aide de l’adresse IP privée.
• Pour expédier vos journaux chiffrés à l’aide de SSL TLS, consultez l’article Streaming Data With Rsyslog & Filebeat Using SSL [KB0866319] dans la base de Now Support connaissances.

• Configurez Splunk pour transférer les journaux à votre instance ServiceNow à l'aide de Syslog.
• La configuration de cette entrée de données suppose l'existence d'une variable d'environnement nommée $SPLUNK_HOME. Dans les environnements Unix, cette variable pointe généralement vers /opt/splunk.
  Remarque :

  L’environnement Windows utilise la même structure de répertoires, mais avec des barres obliques inverses (\).

Rôle requis : evt_mgmt_admin

Pourquoi et quand exécuter cette tâche

Cette procédure de configuration permet de diffuser des journaux vers votre instance à l'aide d'un heavy forwarder Splunk. Si vous ne pouvez pas utiliser un forwarder lourd, vous pouvez utiliser un Splunk forwarder universel à la place. Pour plus d'informations, consultez l'article Forwarder universel Splunk en tant que méthode d'expédition [KB0961378] dans la base de connaissances Now Support.

À partir de la version de la famille, vous pouvez utiliser de Yokohama nouvelles Splunk entrées de données pour ingérer des données dans le format de transfert de journal prétraité (« cuit ») utilisé Splunk par défaut. En mode préparé, le redirecteur intègre des détails de configuration, tels que l’hôte, le Splunk type de source, la source et d’autres paramètres dans les données du journal. L’ingestion des données dans HLA ce format permet de vérifierque chaque ligne de journal conserve toutes les informations contextuelles pertinentes. Si vous utilisez l’option de données préparées dans HLA, il n’est pas nécessaire de modifier les fichiers props.conf et transforms.conf pendant Splunk la configuration de l’entrée des données.

Remarque :

Tous les fichiers de configuration Splunk se trouvent dans le dossier $SPLUNK_HOME/etc/system/local/. Si un fichier de configuration que vous devez modifier n'existe pas, créez-le et enregistrez-le dans ce dossier.

Remarque :

Un Serveur MID en panne peut entraîner un blocage dans votre pipeline Splunk. Une file d'attente de traitement complète n'affecte pas le pipeline.

Procédure

1. Accédez à la Tous > Analyse de l'intégrité des journaux > Entrée de données > Entrées de données.
2. Sur la page Entrées de données, sélectionnez Nouveau.
3. Choisissez l’entrée de données pour la Splunk diffusion des journaux via un redirecteur lourd ou un Splunk redirecteur universel.
4. Dans l'onglet Mise en route, remplissez les champs du formulaire.
   Pour obtenir une description des champs, consultez la rubrique Splunk Champs de configuration de l’entrée de données.
5. Dans l'onglet Sorties.conf, ajoutez les strophes suivantes au fichier outputs.conf pour que l'expéditeur transfère les données de journal selon le protocole de transport sélectionné sur le port sélectionné, puis sélectionnez Suivant.
   Remarque :

   Si vous avez déjà configuré des sorties, fusionnez ces lignes avec votre configuration existante.
   • Transfert via TCP :
     Remarque :

     Utilisez la première strophe uniquement si vous n'avez pas déjà configuré une strophe tcpout. La deuxième strophe est obligatoire pour diffuser à Analyse de l'intégrité des journaux via TCP.

     
     [tcpout]
     indexAndForward = 1
     defaultGroup = nothing
     
     [tcpout:health_log_analytics]
     server = ip-172-31-17-121.us-east-2.compute.internal:5000
     sendCookedData = false
     compressed = false
     

   • Transfert via UDP :
     Remarque :

     Utilisez la première strophe uniquement si vous n'avez pas déjà configuré une strophe syslog. La deuxième strophe est obligatoire pour diffuser à Analyse de l'intégrité des journaux via UDP.

     
     [syslog]defaultGroup = nothing
     
     [syslog:health_log_analytics]
     server = ip-172-31-17-121.us-east-2.compute.internal:5000
     

6. Dans l'onglet Props.conf, modifiez le fichier props.conf, puis sélectionnez Suivant.
   Remarque :

   Si vous avez sélectionné l’option Utiliser les données préparées dans l’onglet Mise en route , il n’est pas nécessaire de modifier le fichier props.conf .
   1. Modifiez les strophes existantes ou ajoutez des strophes pour marquer les types de sources, les instances de service et les hôtes vers lesquels effectuer le transfert vers Analyse de l'intégrité des journaux.
      Remarque :

      Pour de meilleurs résultats, marquez uniquement les types de sources pour le transfert.

      Lors de l'ajout de strophes, utilisez les formats de nom suivants :

      • Types de sources : [<source type>]. Par exemple : [syslog]
      • Sources (non recommandées) : [source::<source>]. Par exemple, [source::myApp]
      • Hôtes (non recommandés) : [host::<host>]. Par exemple, [host::10.9.8.7]
   2. Ajoutez la ligne suivante à la fin de chaque strophe que vous souhaitez transférer à Analyse de l'intégrité des journaux via TCP ou UDP.
      • Transfert via TCP :

        TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla

      • Transfert via UDP :

        TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

        Cette ligne applique la transformation CLONE_SOURCETYPE sur les données pour empêcher que la manipulation nécessaire au traitement par Analyse de l'intégrité des journaux n'affecte votre pipeline de données existant. Par exemple, pour envoyer tous les journaux à partir du type de source « syslog » à Analyse de l'intégrité des journaux :

        [syslog]
                                            #existing configuration goes here
                                            TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

   3. Ajoutez la strophe suivante pour appliquer toutes les transformations pertinentes nécessaires au traitement par Analyse de l'intégrité des journaux.
      Remarque :

      Splunk vous permet d'anonymiser les données sensibles sur le type de source cloné pour le protocole sélectionné. Pour plus d'informations, consultez la section « Anonymiser les données » dans la documentation Splunk.

      • Transfert via TCP :

        [send_to_hla_tcp]
        TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

      • Transfert via UDP :

        [send_to_hla_udp]
        TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

7. Dans l'onglet Transforms.conf, ajoutez les strophes suivantes au fichier transforms.conf, puis sélectionnez Suivant.
   Remarque :

   Si vous avez sélectionné l’option Utiliser les données préparées dans l’onglet Mise en route , il n’est pas nécessaire de modifier le fichier transforms.conf .

   La troisième strophe clone les journaux pour une manipulation supplémentaire sans affecter votre indexation existante. Les strophes restantes ajoutent les informations nécessaires pour permettre un traitement correct par Analyse de l'intégrité des journaux.

   Remarque :

   Vous pouvez brouiller les données sensibles en ajoutant une transformation ici, puis en modifiant la strophe du type de source cloné dans le fichier props.conf.

   [accepted_keys]
   #Custom field for preserving sourcetype
   hla_sourcetype_preservation=_hla_sourcetype
   
   #Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
   [clone_for_hla_store_sourcetype]
   SOURCE_KEY = MetaData:Sourcetype
   REGEX = ^sourcetype::(.+)$
   FORMAT = hla_sourcetype::$1
   DEST_KEY = _hla_sourcetype
   
   [clone_for_hla]
   REGEX=.
   DEST_KEY = _TCP_ROUTING
   FORMAT = health_log_analytics
   CLONE_SOURCETYPE=send_to_hla_tcp
   
   #Only used in case of UDP forwarding
   [clone_for_hla_udp]
   REGEX=.
   DEST_KEY = _SYSLOG_ROUTING
   FORMAT = health_log_analytics
   CLONE_SOURCETYPE=send_to_hla_udp
   
   #Add metadata to the log message, since metadata is lost when forwarding externally
   [health_log_analytics_add_sourcetype]
   SOURCE_KEY = _hla_sourcetype
   REGEX = ^hla_sourcetype::(.+)$
   FORMAT = sourcetype="$1"] $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_host]
   SOURCE_KEY = MetaData:Host
   REGEX = ^host::(.+)$
   FORMAT = host="$1" $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_source]
   SOURCE_KEY = MetaData:Source
   REGEX = ^source::(.+)$
   FORMAT = source="$1" $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_syslog5424]
   REGEX=.
   FORMAT = - - [sdid@1234 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_index]
   SOURCE_KEY = _MetaData:Index
   REGEX = ^(.+)$
   FORMAT = $1 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_syslogHost]
   SOURCE_KEY = MetaData:Host
   REGEX = ^host::(.+)$
   FORMAT = $1 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_time]
   SOURCE_KEY = _time
   REGEX = ^(.+)$
   FORMAT = <182>1 $1 $0
   DEST_KEY = _raw

8. Dans l'onglet Finish.conf, redémarrez Splunk en exécutant la commande $SPLUNK_HOME/bin/splunk restart splunkd.
9. Sélectionnez Enregistrer.
   Analyse de l'intégrité des journaux ajoute l'enregistrement d'entrée de données à la table Entrées de données.
10. Vérifiez que l’entrée de données est correctement configurée en sélectionnant Test de la connexion.

    Analyse de l'intégrité des journaux tente de se connecter Serveur MID au référentiel de données.

    • Si la connexion a été établie, le bouton Test de la connexion est désactivé et le bouton Publier est activé.
    • Si la connexion a échoué, le motif de l’échec s’affiche dans le champ Message d’erreur . Ce champ s’affiche uniquement lorsqu’une erreur de diffusion s’est produite.

      Résolvez le problème, sélectionnez Enregistrer si vous avez modifié la configuration, puis sélectionnez Test de la connexion pour tester à nouveau la connexion.

      Remarque :

      Vous ne pouvez publier la configuration des entrées de données que lorsque la connexion est créée avec succès.

    Remarque :

    Vous pouvez revenir à la dernière configuration publiée en sélectionnant Rétablir les changements. Cette option n’est disponible que lorsque vous modifiez une configuration qui a été publiée précédemment.
11. Sélectionnez Publier pour publier l’entrée de données dans le Serveur MID.

Résultats

Le processus de configuration des entrées de données est terminé. Analyse de l'intégrité des journaux ajoute l’enregistrement d’entrée de données à la table d’entrées de données et joint le fichier de configuration à l’enregistrement d’entrée de données. L’entrée de données démarre la diffusion des données du journal vers votre instance à l’aide ServiceNow d’un Splunk expéditeur.

Que faire ensuite

Assurez-vous que l'entrée de données contient des données de diffusion.

Tâches associées

• Configurer manuellement les paramètres avancés pour Rsyslog les entrées de Analyse de l'intégrité des journaux données , Splunk ou TCP