Mappage automatique et mappage des données de journal dans Analyse de l'intégrité des journaux

Par défaut, le HLA moteur essaie de mapper automatiquement chaque ligne de journal entrante aux balises correctes. Vous pouvez modifier manuellement les résultats de mappage automatique en définissant une fonction JavaScript.

Mappage automatique des lignes de journal entrantes

Analyse de l'intégrité des journaux Le mappage automatique affecte des échantillons de journal et des métadonnées à trois balises : instance de service, composant et type de source. L’affectation d’instance de service est basée sur l’instance de service spécifiée dans la configuration de l’entrée de données. Les balises restantes sont affectées automatiquement.

Par exemple, dans l'exemple de ligne de journal suivant, Analyse de l'intégrité des journaux utilise le champ « source » pour trouver le composant et le type de source.

{"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786} 

Dans l'exemple, Analyse de l'intégrité des journaux extrait la chaîne « online_store ». Il analyse les champs suivants s'ils existent dans la ligne de journal : source, path, channel, namespace_name, name, pod_name, source_name et aws_lambda_name. Lorsque des données sont envoyées par Syslog, elles analysent également la balise syslog.

Arrêter l'extraction des données inutiles

Si une chaîne extraite n'est pas assez descriptive ou contient du texte ou des informations redondantes, vous pouvez arrêter d'extraire ces données. Pour plus d'informations, consultez Arrêter l’extraction des données de journal inutiles dans Analyse de l'intégrité des journaux.

Garantir l'extraction de données spécifiques

Vous pouvez vous assurer que Analyse de l'intégrité des journaux extrait les termes spécifiques souhaités. Pour plus d'informations, consultez Extraire des données de journal spécifiques dans Analyse de l'intégrité des journaux.

Mappage des sources d'entrée de données

Vous pouvez modifier manuellement les résultats de mappage automatique en définissant une fonction JavaScript. Le mappage d’entrée de données vous permet d’organiser vos données de journal par instance de service et par zone de disponibilité. Une seule instance de service peut inclure plusieurs composants et un composant peut recevoir des journaux de nombreux types de sources différents. Toutefois, une paire instance-composant de service est unique. Les types de sources sont basés sur une structure et un format de journal spécifiques. Les instances et les composants de service sont définis de manière plus large et sont donc principalement utilisés pour le mappage logique.

L’activation du mode Test évite d’augmenter Elasticsearch le stockage avec des exemples de données qui ne sont utilisés que pour perfectionner le mappage des données de journal. Lorsque l’entrée de données est en mode test, Analyse de l'intégrité des journaux elle ne crée pas les types de sources, les sources ou tout autre objet qu’elle crée dans le flux standard. Il enregistre les données diffusées dans des index temporaires Elasticsearch dédiés qui apparaissent sous forme de composants dans la visionneuse de journaux. Lorsque vous publiez le script et quittez le mode Test, ces index temporaires sont supprimés afin de minimiser la consommation d’espace de stockage.

Lorsque vous définissez une fonction JavaScript, sélectionnez Test pour afficher le résultat du script tel qu’il est actuellement spécifié. Cette fonctionnalité vous permet de prévisualiser les types de source et les sources créés. Vous pouvez ensuite affiner le script jusqu’à ce qu’il atteigne le résultat souhaité. Par exemple, il peut être utile de comparer les résultats des tests de plusieurs versions de la fonction JavaScript.

Remarque :

Par défaut, le test traite 100 échantillons de données de journal. Vous pouvez personnaliser ce nombre dans les propriétés système. Pour plus d'informations, consultez Configurer les propriétés système de Analyse de l'intégrité des journaux.

Pendant la configuration de l'entrée de données, le système peut créer un nombre total excessif de sources d'entrée de données. Par exemple, cela peut être dû à un script de mappage défectueux. Vous pouvez configurer des limites pour le nombre de sources créées par entrée de données dans les propriétés système :

Propriété système	Description	Valeur par défaut
log_source.sources_warning_limit	Limite d'avertissement pour le nombre de sources créées par entrée de données.	500
log_source.sources_critical_limit	Limite critique pour le nombre de sources créées par entrée de données.	600

Le nombre de sources de journal créées par une entrée de données spécifique s’affiche dans le champ Nombre de sources pour cette entrée de données. Lorsque le nombre total de sources créées pendant la configuration de l'entrée de données atteint la limite d'avertissement, le système envoie une notification d'avertissement par e-mail. Il affiche également un message sur les pages Mappage d'entrée de données, Sources de journal et Entrée de données. La notification et le message comprennent le nombre total de sources créées jusqu'à présent et les trois entrées de données qui ont mené le plus de sources à ce total. Si aucune action n'est effectuée, le système continue de créer des sources jusqu'à ce que le nombre total atteigne la limite critique. Lorsque cela se produit, la configuration et la diffusion des entrées de données à partir de toutes les entrées de données s'arrêtent automatiquement. Vous ne pouvez pas démarrer les entrées de données manuellement tant que le problème n'a pas été résolu. Vous pouvez résoudre cet état en suivant les instructions de l'article Comment gérer trop de sources dans les entrées de données [KB0963067] de la base de connaissances Now Support.

Lier des données de journal

Lier des données de journal aux éléments de configuration (CI) dans la Base de données de gestion des configurations (CMDB) vous permet de rechercher des points de terminaison dans la CMDB qui correspondent à un journal. Lorsque vous configurez une entrée de données, vous liez les entrées de journal à une instance de service liée à un CI dans la CMDB. La liaison des entrées de journal, des instances de service et des CI permet au moteur de les corréler pour une utilisation dans l’analyse HLA de la cause première (RCA). Pour plus d'informations, voir Configurer manuellement une Rsyslog entrée Analyse de l'intégrité des journaux de données ou FilebeatWinlogbeat ou Configurer une Elasticsearch entrée de données dans Analyse de l'intégrité des journaux manuellement.

• Mapper les données de journal brutes dans Analyse de l'intégrité des journaux
  Le mappage des données de journal brutes diffusées dans votre instance détermine la façon dont les données sont traitées. Analyse de l'intégrité des journaux structure automatiquement les journaux, crée des mesures pour la détection d'anomalie et présente des alertes en fonction de la façon dont vos données sont balisées.
• Afficher les relations entre les types de source et les sources de journal dans Analyse de l'intégrité des journaux
  Explorez les relations plusieurs-à-plusieurs entre les types de source et les sources de journal pour vous aider à optimiser votre mappage d’entrée de données.
• Détection des propriétés d’en-tête dans Analyse de l'intégrité des journaux
  Dans Analyse de l'intégrité des journaux, la détection automatique des propriétés de l’en-tête sépare l’en-tête de transport du message du journal interne et transmet uniquement le message du journal interne à la structure du type de source. Le message intérieur contient les données de journal réelles sans inclure d'informations d'expédition.
• Extraire des données de journal spécifiques dans Analyse de l'intégrité des journaux
  Définissez Analyse de l'intégrité des journaux pour extraire les termes spécifiés des journaux et les mapper à des composants spécifiques.
• Arrêter l’extraction des données de journal inutiles dans Analyse de l'intégrité des journaux
  Si une chaîne de données extraite n'est pas assez descriptive ou contient du texte ou des informations redondantes, vous pouvez paramétrer Analyse de l'intégrité des journaux pour qu'il arrête d'extraire ces données de vos journaux.