Mapper les données de journal brutes

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 7 minutes de lecture

    • Le mappage des données de journal brutes diffusées dans votre instance détermine la façon dont les données sont traitées. Analyse de l'intégrité des journaux structure automatiquement les journaux, crée des mesures pour la détection d'anomalie et présente des alertes en fonction de la façon dont vos données sont balisées.

    Avant de commencer

    Rôle requis : evt_mgmt_admin

    Pourquoi et quand exécuter cette tâche

    Par défaut, Analyse de l'intégrité des journaux tente de mapper automatiquement chaque ligne de journal entrante aux balises adéquates. Si les propriétés ne sont pas détectées automatiquement, mappez manuellement les sources d'entrée de données en définissant une fonction JavaScript.

    Dans la fonction JavaScript, vous devez mapper uniquement le service d'application. Le mappage du composant et du type de source est facultatif : Analyse de l'intégrité des journaux tente d'extraire automatiquement leurs valeurs des données de journal. Si la tentative échoue, elle affecte les valeurs par défaut. Si vous mappez le composant, mais pas le type de source, ou inversement, le système tente d’extraire la valeur manquante des données de journal. En cas d'échec, il affecte la valeur du composant au type de source, ou inversement, selon celui que vous avez mappé. Cette fonctionnalité est prise en charge dans l'application Analyse de l'intégrité des journaux, Version 20.0.11 - July 2021, disponible dans le ServiceNow Store.

    Remarque :

    (Entrées de données ACC uniquement) Lorsque le Agent Client Collector bascule vers une autre Serveur MID pour fournir une protection de basculement, il doit passer à une entrée de données ACC différente. Par conséquent, toutes les entrées de données ACC doivent avoir la même fonction JavaScript. Analyse de l'intégrité des journaux fournit la dernière fonction JavaScript publiée à toutes les entrées de données ACC existantes et futures, afin de remplacer le script précédent. Cette fonctionnalité est prise en charge dans l'application Analyse de l'intégrité des journaux, Version 22.0.12 - December 2021 et versions ultérieures, disponible dans le ServiceNow Store.Pour plus d'informations sur la protection contre le basculement dans Agent Client Collector Log Analytics (ACC-L), consultez Agent Client Collector Log Analytics.

    Remarque :
    Vous pouvez manipuler des données de journal brutes avant mappage et structuration par Analyse de l'intégrité des journaux. Pour plus d'informations, consultez Modifier les données de journal brutes avant le traitement.

    Procédure

    1. Accédez à la Tous > Analyse de l'intégrité des journaux > Mappage > Mappage d'entrée de données.
    2. Ouvrez un enregistrement.
      Remarque :
      La première fois que le formulaire Mappage d'entrée de données s'affiche, Analyse de l'intégrité des journaux récupère automatiquement les exemples de journal. Dans les sessions suivantes, extrayez des exemples récents en sélectionnant Actualiser les exemples.
      Remarque :
      Si le moteur d’IA Analyse de l'intégrité des journaux est en panne et que la diffusion des données a cessé, une notification s’affiche en haut de la page Mappage d’entrée de données. Lorsque cela se produit, contactez l’assistance ServiceNow .
    3. Facultatif : Pour transférer le message de journal brut complet, désactivez la détection automatique des propriétés d'en-tête pour cette entrée de données en sélectionnant Désactiver la détection d'en-tête.
      Pour plus d'informations, consultez Détection des propriétés d'en-tête.
    4. Facultatif : Activez le mode test en définissant la valeur du mode test sur ON.
      En mode test, Analyse de l'intégrité des journaux ne crée pas les types de sources, les sources ou tout autre objet qu’il crée dans le flux standard pour éviter de faire Elasticsearch exploser le stockage avec des exemples de données. Pour plus d'informations, consultez Mappage et mappage automatiques des données de journal.
    5. Facultatif : Observez la façon dont la fonction JavaScript actuelle affecte les lignes de journal.
      1. Ajoutez un exemple de message dans le champ Exemple manuel de test.
      2. Sélectionnez Aller.
      3. Observez la façon dont la fonction JavaScript affecte les lignes de journal.
    6. Dans le champ Exemple d'entrées brutes, choisissez un exemple de journal qui affiche l'effet de votre nouvelle fonction JavaScript sur les lignes de journal lorsque vous le testez.
    7. Définissez une fonction JavaScript qui mappe vos sources d'entrée de données au service d'application, au composant et au type de source appropriés.
      Remarque :
      (Entrées de données ACC uniquement) Assurez-vous que votre fonction JavaScript peut être utilisée pour gérer les données diffusées par toutes les entrées de données ACC.
      1. Dans la console JavaScript, vous pouvez modifier la fonction JavaScript par défaut fournie, modifier une fonction JavaScript personnalisée existante ou bien en définir une nouvelle.
        Remarque :
        En plus de la fonction JavaScript par défaut, Analyse de l'intégrité des journaux fournit des modèles de fonction JS pour le mappage de données pour les journaux de système d'exploitation Linux diffusés avec syslog et les journaux des événements Windows diffusés avec Filebeat ou avec des journaux des événements Winlogbeat diffusés avec Winlogbeat. Les modèles peuvent servir de point de départ pour votre code de script personnalisé. Cette fonctionnalité est prise en charge dans l'application Analyse de l'intégrité des journaux, Version 20.0.11 - July 2021, disponible dans le ServiceNow Store.
        Tableau 1. Modèles de fonction JavaScript
        Modèle Description
        Journaux de système d'exploitation Linux diffusés avec Syslog Script utilisé pour le mappage de journaux Linux. Mappe les journaux des différents démons aux types de sources, composants et services d'application appropriés.
        Remarque :
        Les journaux doivent comporter une couche syslog pour que cette fonction JavaScript fonctionne correctement.
        Journal des événements Windows diffusé avec Filebeat Script utilisé pour le mappage des journaux des événements Windows diffusés avec Filebeat. Mappe et regroupe les différents services Windows vers les types de sources, les composants et les services d'application
        Journaux Windows - Winlogbeat diffusés avec Winlogbeat Script utilisé pour le mappage des journaux des événements Windows diffusés avec Winlogbeat. Mappe les différents services Windows aux types de sources, composants et services d'application appropriés.
        La fonction JavaScript pour le mappage des données de journal brutes utilise les objets suivants :
        • Signature : carte de fonction (exemple, métadonnées)
          Objet Description
          sample Exemple de journal actuel après prétraitement.
          metadata Objet qui contient :
          • Flux d'événements : accès via : <metadata value>. Par exemple : metadata.eventStream.origin
          • En-tête de transformation 1 : accès via : <metadata value>. Par exemple : metadata.headers.i1.type
          • En-tête de transformation 2 : accès via : <metadata value>. Par exemple : metadata.headers.i2.type
          • type En-tête de transformation 3 : accès via : <metadata value>. Par exemple : metadata.headers.i3.type
          • Affectation de secours : accès via : <metadata value>. Par exemple : metadata.fallBacks.host
        • Renvoi du type et de la structure
          Remarque :
          La fonction JavaScript renvoie une carte de deux entrées. Ne modifiez pas cette structure de renvoi.
          Objet Description
          applicationService Service d'application existant auquel cet exemple sera affecté.
          Remarque :
          Le service d'application doit être lié aux alertes d'anomalie liées au journal.
          component Composant auquel cet exemple sera affecté.
          sourceType Type de source auquel cet exemple sera affecté.
        • Pour ignorer un message de journal, appelez return drop().
      2. Testez la fonction JavaScript en sélectionnant Test.

        Le test de la fonction JavaScript vous permet d’afficher le résultat du script sur l’exemple de journal. Pour obtenir une description des champs affichés, reportez-vous à la section Champs de résultats des tests de fonction JavaScript.

        Remarque :
        Si votre nouvelle fonction JavaScript ne se comporte pas comme prévu, vous pouvez revenir à la dernière publication en sélectionnant le lien connexe Rétablir la fonction JS.
      3. Facultatif : Effectuez les réglages nécessaires, puis testez à nouveau la fonction JavaScript.
      4. Facultatif : Comparez les résultats de plusieurs tests.
        La comparaison des résultats des tests de plusieurs versions de la fonction JavaScript peut vous aider à affiner le script jusqu’à ce qu’il atteigne le résultat souhaité.
    8. Lorsque vous avez finalisé la fonction JavaScript, sélectionnez Enregistrer le modèle pour l’enregistrer.
      Vous pouvez enregistrer la fonction JavaScript en tant que nouveau modèle ou remplacer le modèle actuellement sélectionné.
      • Pour enregistrer la fonction JavaScript en tant que nouveau modèle, saisissez un nouveau nom dans le champ Nom du modèle.
      • Pour remplacer le modèle actuellement sélectionné dans le champ Modèles de fonction JS, laissez le champ Nom du modèle vide.
    9. Sélectionnez Publier pour enregistrer la fonction JavaScript dans la base de données.

    Résultats

    Lorsque la fonction JavaScript est publiée, Analyse de l'intégrité des journaux l'utilise pour mapper les sources d'entrée de données.

    Le nouveau script est automatiquement ajouté à la liste des modèles de fonction JS à partir desquels vous pouvez choisir. Cette fonctionnalité est prise en charge dans l'application Analyse de l'intégrité des journaux, Version 20.0.11 - July 2021, disponible dans le ServiceNow Store.

    (Entrées de données ACC uniquement) Analyse de l'intégrité des journaux fournit la fonction JavaScript publiée à toutes les entrées de données ACC existantes et futures. La nouvelle fonction JavaScript remplace le script précédent.

    Que faire ensuite

    • (Facultatif) Modifiez vos données de journal brutes avant mappage et structuration par Analyse de l'intégrité des journaux. Si vous souhaitez effectuer cette tâche immédiatement, cliquez sur le lien connexe Aller au préprocesseur pour accéder à la page Prétraitement d'entrée de données.
    • (Facultatif) Affinez la façon dont le système lit vos données de journal en affinant la structure du type de source. Cette étape vous permet de reclasser les propriétés classées automatiquement et de modifier les étiquettes mappées automatiquement.