Automatische Datenzuordnung und -Zuordnung in protokollieren Health Log Analytics

Standardmäßig ist HLA Die Engine versucht, jede eingehende Protokollzeile automatisch den richtigen Tags zuzuordnen. Sie können die Ergebnisse der automatischen Zuordnung manuell ändern, indem Sie eine JavaScript-Funktion definieren.

Automatische Zuordnung eingehender Protokollzeilen

Health Log Analytics Bei der automatischen Zuordnung werden Protokollbeispiele und Metadaten drei Tags zugewiesen: Serviceinstanz, Komponente und Quelltyp. Die Zuweisung der Serviceinstanz basiert auf der Serviceinstanz, die im Setup der Dateneingabe angegeben ist. Die verbleibenden Tags werden automatisch zugewiesen.

In der folgenden Beispielprotokollzeile verwendet Health Log Analytics beispielsweise das Feld „source“, um die Komponente und den Quelltyp zu finden.

{"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786} 

Im Beispiel extrahiert Health Log Analytics die Zeichenfolge „online_store“. Es analysiert die folgenden Felder, wenn sie in der Protokollzeile vorhanden sind: source, path, channel, namespace_name, name, pod_name, source_name und aws_lambda_name. Wenn Daten über Syslog gesendet werden, wird auch das syslog-Tag analysiert.

Extraktion nicht benötigter Daten stoppen

Wenn eine extrahierte Zeichenfolge nicht aussagekräftig genug ist oder redundanten Text oder Informationen enthält, können Sie die Extraktion von verzichtbaren Daten dieser Art stoppen. Weitere Informationen finden Sie unter Extraktion nicht benötigter Protokolldaten in stoppen Health Log Analytics.

Extraktion bestimmter Daten sicherstellen

Sie können sicherstellen, dass Health Log Analytics bestimmte gewünschte Begriffe extrahiert. Weitere Informationen finden Sie unter Extrahieren Sie bestimmte Protokolldaten in Health Log Analytics.

Dateneingabequellen zuordnen

Sie können die Ergebnisse der automatischen Zuordnung manuell ändern, indem Sie eine JavaScript-Funktion definieren. Dateneingabezuordnung Ermöglicht Ihnen, Ihre Protokolldaten nach Serviceinstanz und Verfügbarkeitszone zu organisieren. Eine einzelne Serviceinstanz kann mehrere Komponenten enthalten, und eine Komponente kann Protokolle aus vielen verschiedenen Quelltypen empfangen. Ein Serviceinstanz-Komponentenpaar ist jedoch eindeutig. Quelltypen basieren auf einer bestimmten Protokollstruktur und einem bestimmten Format. Serviceinstanzen und -Komponenten sind breiter definiert und werden daher hauptsächlich für logische Zuordnungen verwendet.

Wird Aktiviert Testmodus Vermeidet Explosion Elasticsearch Speicher mit Beispieldaten, der nur zur Optimierung der Protokolldatenzuordnung verwendet wird. Wenn sich die Dateneingabe im Testmodus befindet, Health Log Analytics Erstellt keine Quelltypen, Quellen oder anderen Objekte, die im Standard-Flow erstellt werden. Die gestreamten Daten werden in dedizierten temporären Dateien gespeichert Elasticsearch Indizes, die im Protokoll-Viewer als Komponenten angezeigt werden. Wenn Sie das Skript veröffentlichen und den Testmodus beenden, werden diese temporären Indizes gelöscht, um den Speicherplatzverbrauch zu minimieren.

Wenn Sie eine JavaScript-Funktion definieren, wählen Sie aus Testen Zum Anzeigen des Ergebnisses des Skripts, wie es derzeit angegeben ist. Mit dieser Funktionalität können Sie eine Vorschau der erstellten Quelltypen und Quellen anzeigen. Sie können das Skript dann verfeinern, bis es das gewünschte Ergebnis erreicht. Beispielsweise kann es nützlich sein, das Testergebnis mehrerer Versionen der JavaScript-Funktion zu vergleichen.

Hinweis:

Standardmäßig verarbeitet der Test 100 Protokolldatenbeispiele. Sie können diese Zahl in den Systemeigenschaften anpassen. Weitere Informationen finden Sie unter Globale Health Log Analytics-Systemeigenschaften konfigurieren.

Während des Setups der Dateneingabe erstellt das System unter Umständen eine zu hohe Gesamtzahl von Dateneingabequellen. Dies kann beispielsweise auf ein fehlerhaftes Zuordnungsskript zurückzuführen sein. In den Systemeigenschaften können Sie Grenzwerte für die Anzahl der pro Dateneingabe erstellten Quellen konfigurieren:

Systemeigenschaft	Beschreibung	Standard
log_source.sources_warning_limit	Warngrenze für die Anzahl der pro Dateneingabe erstellten Quellen.	500
log_source.sources_critical_limit	Kritische Grenze für die Anzahl der pro Dateneingabe erstellten Quellen.	600

Die Anzahl der Protokollquellen, die eine bestimmte Dateneingabe erstellt hat, wird in angezeigt Anzahl der Quellen Feld für diese Dateneingabe. Wenn die Gesamtanzahl der während der Dateneingabekonfiguration erstellten Quellen die Warngrenze erreicht, sendet das System eine Warnbenachrichtigung per E-Mail. Außerdem wird eine Nachricht auf den Seiten Dateneingabezuordnung, Protokollquellen und Dateneingabe angezeigt. Die Benachrichtigung und die Nachricht enthalten die Gesamtzahl der bisher erstellten Quellen und die drei Dateneingaben, die die meisten Quellen zu dieser Gesamtzahl beigetragen haben. Wenn keine Aktion ausgeführt wird, erstellt das System weiterhin Quellen, bis die Gesamtzahl die kritische Grenze erreicht. In diesem Fall werden das Setup der Dateneingabe und das Streaming aus allen Dateneingaben automatisch beendet. Sie können Dateneingaben nicht manuell erneut starten, bis das Problem gelöst wurde. Um diesen Status zu beheben, folgen Sie den Anweisungen im Artikel How to handle too many sources in data inputs [KB0963067] (Umgang mit zu vielen Quellen in Dateneingaben) in der Knowledge Base des Now Support.

Protokolldaten binden

Durch das Binden von Protokolldaten an Konfigurationselemente (CIs) in Configuration Management Database (CMDB) können Sie die CMDB nach Endpunkten durchsuchen, die einem Protokoll entsprechen. Wenn Sie eine Dateneingabe konfigurieren, binden Sie Protokolleinträge an eine Serviceinstanz, die an ein CI in der CMDB gebunden ist. Durch die Bindung von Protokolleinträgen, Serviceinstanzen und CIs wird aktiviert HLA Engine zum Korrelieren der Elemente zur Verwendung in der Ursachenanalyse (Ursachenanalyse, RCA). Weitere Informationen finden Sie unter Konfigurieren Sie ein Rsyslog, Filebeat, Oder Winlogbeat Dateneingabe in Health Log Analytics Manuell oder Konfigurieren Sie einen Elasticsearch Dateneingabe in Health Log Analytics Manuell.

• Ordnen Sie Rohprotokolldaten in zu Health Log Analytics
  Die Zuordnung von Protokolldaten im Rohzustand, die in Ihre Instanz gestreamt werden, bestimmt, wie die Daten behandelt werden. Health Log Analytics strukturiert Protokolle automatisch, erstellt Metriken zur Erkennung von Anomalien und zeigt Warnungen abhängig vom Tagging Ihrer Daten an.
• Zeigen Sie die Beziehungen zwischen Quelltypen und Protokollquellen in an Health Log Analytics
  Erkunden Sie die viele-zu-viele-Beziehungen zwischen Quelltypen und Protokollquellen, um Ihre Dateneingabezuordnung zu optimieren.
• Erkennung von Headereigenschaften in Health Log Analytics
  In Health Log Analytics, Die automatische Erkennung von Headereigenschaften trennt den Transport-Header von der inneren Protokollnachricht und leitet nur die innere Protokollnachricht an die Quelltypstruktur weiter. Die innere Nachricht enthält die tatsächlichen Protokolldaten ohne Informationen zur Übermittlung.
• Extrahieren Sie bestimmte Protokolldaten in Health Log Analytics
  Festlegen Health Log Analytics Um angegebene Begriffe aus Protokollen zu extrahieren und bestimmten Komponenten zuzuordnen.
• Extraktion nicht benötigter Protokolldaten in stoppen Health Log Analytics
  Wenn eine extrahierte Datenzeichenfolge nicht aussagekräftig genug ist oder redundanten Text oder Informationen enthält, können Sie Health Log Analytics so konfigurieren, dass die Extraktion solcher Daten aus den Protokollen gestoppt wird.