Configurer les entrées de données (Splunk)

Configurez une entrée de données pour diffuser des messages de journal vers votre instance ServiceNow à l'aide d'un heavy forwarder Splunk.

Avant de commencer

Important :

Analyse de l'intégrité des journaux ne prend pas en charge IPv6. Pour utiliser l'application, configurez le Serveur MID sur IPv4.

• Vous devez avoir installé et configuré Serveur MID un système avec l’option d’ingestion de journaux activée.

  

• Si l’adresse IP est exposée par la traduction d’adresse Serveur MID réseau (NAT), un équilibreur de charge ou un appareil similaire, elle doit avoir une adresse IP publique. Dans les propriétés Serveur MID, ajoutez une propriété nommée mid.public_ip avec l'adresse IP publique comme valeur. Pour plus d'informations, voir Créer une propriété de MID Server.
• Pour plus d'informations sur l'expédition de vos journaux chiffrés à l'aide de SSL/TLS, consultez l'article Streaming Data With Rsyslog & Filebeat Using SSL [KB0866319] dans la base de connaissances Now Support.

• Configurez Splunk pour transférer les journaux à votre instance ServiceNow à l'aide de Syslog.
• La configuration de cette entrée de données suppose l'existence d'une variable d'environnement nommée $SPLUNK_HOME. Dans les environnements Unix, cette variable pointe généralement vers /opt/splunk.
  Remarque :

  L'environnement Windows utilise la même structure de répertoire, mais avec des barres obliques inverses (\).

Rôle requis : evt_mgmt_admin

Pourquoi et quand exécuter cette tâche

Cette procédure de configuration permet de diffuser des journaux vers votre instance à l'aide d'un heavy forwarder Splunk. Si vous ne pouvez pas utiliser un heavy forwarder, vous pouvez utiliser un forwarder universel à la place. Pour plus d'informations, consultez l'article Forwarder universel Splunk en tant que méthode d'expédition [KB0961378] dans la base de connaissances Now Support.

Remarque :

Un Serveur MID en panne peut entraîner un blocage dans votre pipeline Splunk. Une file d'attente de traitement complète n'affecte pas le pipeline.

Remarque :

Tous les fichiers de configuration Splunk se trouvent dans le dossier $SPLUNK_HOME/etc/system/local/. Si un fichier de configuration que vous devez modifier n'existe pas, créez-le et enregistrez-le dans ce dossier.

Procédure

1. Accédez à la Tous > Analyse de l'intégrité des journaux > Entrée de données > Entrées de données.
2. Sur la page Entrées de données, sélectionnez Nouveau.
3. Choisissez l'entrée de données Splunk.
4. Dans l'onglet Mise en route, remplissez les champs du formulaire.
   Pour obtenir une description des champs, consultez la rubrique Splunk Champs de configuration de l’entrée de données.
5. Dans l'onglet Sorties.conf, ajoutez les strophes suivantes au fichier outputs.conf pour que l'expéditeur transfère les données de journal selon le protocole de transport sélectionné sur le port sélectionné, puis sélectionnez Suivant.
   Remarque :

   Si vous avez déjà configuré des sorties, fusionnez ces lignes avec votre configuration existante.
   • Transfert via TCP :
     Remarque :

     Utilisez la première strophe uniquement si vous n'avez pas déjà configuré une strophe tcpout. La deuxième strophe est obligatoire pour diffuser à Analyse de l'intégrité des journaux via TCP.

     
     [tcpout]
     indexAndForward = 1
     defaultGroup = nothing
     
     [tcpout:health_log_analytics]
     server = ip-172-31-17-121.us-east-2.compute.internal:5000
     sendCookedData = false
     compressed = false
     

   • Transfert via UDP :

     Remarque :

     Utilisez la première strophe uniquement si vous n'avez pas déjà configuré une strophe syslog. La deuxième strophe est obligatoire pour diffuser à Analyse de l'intégrité des journaux via UDP.

     
     [syslog]defaultGroup = nothing
     
     [syslog:health_log_analytics]
     server = ip-172-31-17-121.us-east-2.compute.internal:5000
     

6. Dans l'onglet Props.conf, modifiez le fichier props.conf, puis sélectionnez Suivant.
   1. Modifiez les strophes existantes ou ajoutez des strophes pour marquer les types de sources, les services d'application et les hôtes à transférer à Analyse de l'intégrité des journaux.
      Remarque :

      Pour de meilleurs résultats, marquez uniquement les types de sources pour le transfert.

      Lors de l'ajout de strophes, utilisez les formats de nom suivants :

      • Types de sources : [<source type>]. Par exemple : [syslog]
      • Sources (non recommandées) : [source::<source>]. Par exemple, [source::myApp]
      • Hôtes (non recommandés) : [host::<host>]. Par exemple, [host::10.9.8.7]
   2. Ajoutez la ligne suivante à la fin de chaque strophe que vous souhaitez transférer à Analyse de l'intégrité des journaux via TCP ou UDP.
      • Transfert via TCP :

        TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla

      • Transfert via UDP :

        TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

        Cette ligne applique la transformation CLONE_SOURCETYPE sur les données pour empêcher que la manipulation nécessaire au traitement par Analyse de l'intégrité des journaux n'affecte votre pipeline de données existant. Par exemple, pour envoyer tous les journaux à partir du type de source « syslog » à Analyse de l'intégrité des journaux :

        [syslog]
                                            #existing configuration goes here
                                            TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

   3. Ajoutez la strophe suivante pour appliquer toutes les transformations pertinentes nécessaires au traitement par Analyse de l'intégrité des journaux.
      Remarque :

      Splunk vous permet d'anonymiser les données sensibles sur le type de source cloné pour le protocole sélectionné. Pour plus d'informations, consultez la section « Anonymiser les données » dans la documentation Splunk.

      • Transfert via TCP :

        [send_to_hla_tcp]
        TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

      • Transfert via UDP :

        [send_to_hla_udp]
        TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

7. Dans l'onglet Transforms.conf, ajoutez les strophes suivantes au fichier transforms.conf, puis sélectionnez Suivant.
   La troisième strophe clone les journaux pour une manipulation supplémentaire sans affecter votre indexation existante. Les strophes restantes ajoutent les informations nécessaires pour permettre un traitement correct par Analyse de l'intégrité des journaux.

   Remarque :

   Vous pouvez brouiller les données sensibles en ajoutant une transformation ici, puis en modifiant la strophe du type de source cloné dans le fichier props.conf.

   [accepted_keys]
   #Custom field for preserving sourcetype
   hla_sourcetype_preservation=_hla_sourcetype
   
   #Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
   [clone_for_hla_store_sourcetype]
   SOURCE_KEY = MetaData:Sourcetype
   REGEX = ^sourcetype::(.+)$
   FORMAT = hla_sourcetype::$1
   DEST_KEY = _hla_sourcetype
   
   [clone_for_hla]
   REGEX=.
   DEST_KEY = _TCP_ROUTING
   FORMAT = health_log_analytics
   CLONE_SOURCETYPE=send_to_hla_tcp
   
   #Only used in case of UDP forwarding
   [clone_for_hla_udp]
   REGEX=.
   DEST_KEY = _SYSLOG_ROUTING
   FORMAT = health_log_analytics
   CLONE_SOURCETYPE=send_to_hla_udp
   
   #Add metadata to the log message, since metadata is lost when forwarding externally
   [health_log_analytics_add_sourcetype]
   SOURCE_KEY = _hla_sourcetype
   REGEX = ^hla_sourcetype::(.+)$
   FORMAT = sourcetype="$1"] $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_host]
   SOURCE_KEY = MetaData:Host
   REGEX = ^host::(.+)$
   FORMAT = host="$1" $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_source]
   SOURCE_KEY = MetaData:Source
   REGEX = ^source::(.+)$
   FORMAT = source="$1" $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_syslog5424]
   REGEX=.
   FORMAT = - - [sdid@1234 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_index]
   SOURCE_KEY = _MetaData:Index
   REGEX = ^(.+)$
   FORMAT = $1 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_syslogHost]
   SOURCE_KEY = MetaData:Host
   REGEX = ^host::(.+)$
   FORMAT = $1 $0
   DEST_KEY = _raw
   
   [health_log_analytics_add_time]
   SOURCE_KEY = _time
   REGEX = ^(.+)$
   FORMAT = <182>1 $1 $0
   DEST_KEY = _raw

8. Dans l'onglet Finish.conf, redémarrez Splunk en exécutant la commande $SPLUNK_HOME/bin/splunk restart splunkd.
9. Sélectionnez Enregistrer.
   Analyse de l'intégrité des journaux ajoute l'enregistrement d'entrée de données à la table Entrées de données.
10. Assurez-vous que l’entrée de données est correctement configurée en sélectionnant Tester la connexion.

    Analyse de l'intégrité des journaux tente de se connecter Serveur MID au référentiel de données.

    • Si la connexion a été établie, le bouton Test de la connexion est désactivé et le bouton Publier est activé.
    • Si la connexion échoue, le motif de l’échec s’affiche dans le champ Message d’erreur . Ce champ s’affiche uniquement lorsqu’une erreur de diffusion s’est produite.

      Résolvez le problème, sélectionnez Enregistrer si vous avez modifié la configuration, puis sélectionnez Test de la connexion pour tester à nouveau la connexion.

      Remarque :

      Vous pouvez uniquement publier la configuration d’entrée de données lorsque la connexion est créée avec succès.

    Remarque :

    Vous pouvez revenir à la dernière configuration publiée en sélectionnant Rétablir les changements. Cette option n’est disponible que lorsque vous modifiez une configuration qui a été publiée précédemment.
11. Sélectionnez Publier pour publier l’entrée de données dans le Serveur MIDfichier .

Résultats

L'entrée de données commence à diffuser des messages de journal à votre instance à l'aide d'un expéditeur Splunk.

Remarque :

Si le moteur d’IA Analyse de l'intégrité des journaux est en panne et que la diffusion des données a cessé, une notification s’affiche en haut de la page de configuration de l’entrée de données. Lorsque cela se produit, contactez l’assistance ServiceNow .

Que faire ensuite

Assurez-vous que l'entrée de données contient des données de diffusion.

• Splunk Champs de configuration de l’entrée de données
  Description des champs sur le formulaire de configuration d’entrée Splunk de données.

Tâches associées

• Configurer les paramètres avancés pour Rsyslog, Splunk ou les entrées de données TCP