Mappage et mappage automatiques des données de journal

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 4 minutes de lecture

    • Par défaut, le moteur d'AI Analyse de l'intégrité des journaux tente de mapper automatiquement chaque ligne de journal entrante aux balises correctes. Vous pouvez modifier manuellement les résultats de mappage automatique en définissant une fonction JavaScript.

    Mappage automatique des lignes de journal entrantes

    Le mappage automatique par Analyse de l'intégrité des journaux affecte des exemples de journal et des métadonnées au niveau de trois balises : service d'application, composant et type de source. L'affectation du service d'application est basée sur le service d'application spécifié dans la configuration de l'entrée de données. Les balises restantes sont affectées automatiquement.

    Par exemple, dans l'exemple de ligne de journal suivant, Analyse de l'intégrité des journaux utilise le champ « source » pour trouver le composant et le type de source.

    {"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786}

    Dans l'exemple, Analyse de l'intégrité des journaux extrait la chaîne « online_store ». Il analyse les champs suivants s'ils existent dans la ligne de journal : source, path, channel, namespace_name, name, pod_name, source_name et aws_lambda_name. Lorsque des données sont envoyées par Syslog, elles analysent également la balise syslog.

    Arrêter l'extraction des données inutiles
    Si une chaîne extraite n'est pas assez descriptive ou contient du texte ou des informations redondantes, vous pouvez arrêter d'extraire ces données. Pour plus d'informations, consultez Arrêter l'extraction des données de journal inutiles.
    Garantir l'extraction de données spécifiques
    Vous pouvez vous assurer que Analyse de l'intégrité des journaux extrait les termes spécifiques souhaités. Pour plus d'informations, consultez Garantir l'extraction de données de journal spécifiques.

    Mappage des sources d'entrée de données

    Vous pouvez modifier manuellement les résultats de mappage automatique en définissant une fonction JavaScript. Le mappage d'entrée de données vous permet d'organiser vos données de journal par service d'application et par zone de disponibilité. Un seul service d'application peut inclure plusieurs composants, et un composant peut recevoir des journaux depuis de nombreux types de sources différents. Toutefois, une paire service-composant d'application est unique. Les types de sources sont basés sur une structure et un format de journal spécifiques. Les composants et services d'application sont définis plus largement et sont donc utilisés principalement pour le mappage logique.

    L’activation du mode test évite de faire Elasticsearch exploser le stockage avec des exemples de données qui ne sont utilisées que pour perfectionner le mappage des données de journal. Lorsque l’entrée de données est en mode test, Analyse de l'intégrité des journaux elle ne crée pas les types de source, les sources ou tout autre objet qu’elle crée dans le flux standard. Il enregistre les données diffusées dans des index temporaires Elasticsearch dédiés qui apparaissent en tant que composants dans la visionneuse de journaux. Lorsque vous publiez le script et que vous quittez le mode Test, ces index temporaires sont supprimés pour réduire la consommation d’espace de stockage.

    Lorsque vous définissez une fonction JavaScript, sélectionnez Test pour afficher le résultat du script tel qu’il est actuellement spécifié. Cette fonctionnalité vous permet de prévisualiser les types de source et les sources créés. Vous pouvez ensuite affiner le script jusqu’à ce qu’il obtienne le résultat souhaité. Par exemple, il peut être utile de comparer les résultats des tests de plusieurs versions de la fonction JavaScript.
    Remarque :
    Par défaut, le test traite 100 échantillons de données de journal. Vous pouvez personnaliser ce numéro dans les propriétés système. Pour plus d'informations, consultez Configurer les propriétés système de Analyse de l'intégrité des journaux.
    Pendant la configuration de l'entrée de données, le système peut créer un nombre total excessif de sources d'entrée de données. Par exemple, cela peut être dû à un script de mappage défectueux. Vous pouvez configurer des limites pour le nombre de sources créées par entrée de données dans les propriétés système :
    Propriété système Description Valeur par défaut
    sn_occ.sources_warning_limit Limite d'avertissement pour le nombre de sources créées par entrée de données. 500
    sn_occ.sources_critical_limit Limite critique pour le nombre de sources créées par entrée de données. 600
    Le nombre de sources de journal qu’une entrée de données spécifique a créées s’affiche dans le champ Nombre de sources pour cette entrée de données. Lorsque le nombre total de sources créées pendant la configuration de l'entrée de données atteint la limite d'avertissement, le système envoie une notification d'avertissement par e-mail. Il affiche également un message sur les pages Mappage d'entrée de données, Sources de journal et Entrée de données. La notification et le message comprennent le nombre total de sources créées jusqu'à présent et les trois entrées de données qui ont mené le plus de sources à ce total. Si aucune action n'est effectuée, le système continue de créer des sources jusqu'à ce que le nombre total atteigne la limite critique. Lorsque cela se produit, la configuration et la diffusion des entrées de données à partir de toutes les entrées de données s'arrêtent automatiquement. Vous ne pouvez pas démarrer les entrées de données manuellement tant que le problème n'a pas été résolu. Vous pouvez résoudre cet état en suivant les instructions de l'article Comment gérer trop de sources dans les entrées de données [KB0963067] de la base de connaissances Now Support.

    Lier des données de journal

    Lier des données de journal aux éléments de configuration (CI) dans la Base de données de gestion des configurations (CMDB) vous permet de rechercher des points de terminaison dans la CMDB qui correspondent à un journal. Lorsque vous configurez une entrée de données, vous liez les entrées de journal à un service d'application lié à un CI dans la CMDB. Lier des entrées de journal, des services d'application et des CI permet au moteur d'IA Analyse de l'intégrité des journaux de les corréler pour une utilisation dans l'analyse de la cause première (RCA). Pour plus d'informations, voir Configurer les entrées de données (Rsyslog, Filebeat ou Winlogbeat) ou Configurer les entrées de données (Elasticsearch).