Automatische Zuordnung und Zuordnung von Protokolldaten

  • Freigeben Version: Yokohama
  • Aktualisiert 30. Januar 2025
  • 3 Minuten Lesedauer

    • Standardmäßig versucht die KI-Engine von Health Log Analytics, jede eingehende Protokollzeile automatisch den richtigen Tags zuzuordnen. Sie können die Ergebnisse der automatischen Zuordnung manuell ändern, indem Sie eine JavaScript-Funktion definieren.

    Automatische Zuordnung eingehender Protokollzeilen

    Health Log Analytics Bei der automatischen Zuordnung werden Protokollbeispiele und Metadaten drei Tags zugewiesen: Serviceinstanz, Komponente und Quelltyp. Die Zuweisung der Serviceinstanz basiert auf der Serviceinstanz, die im Setup der Dateneingabe angegeben ist. Die verbleibenden Tags werden automatisch zugewiesen.

    In der folgenden Beispielprotokollzeile verwendet Health Log Analytics beispielsweise das Feld „source“, um die Komponente und den Quelltyp zu finden.

    {"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786}

    Im Beispiel extrahiert Health Log Analytics die Zeichenfolge „online_store“. Es analysiert die folgenden Felder, wenn sie in der Protokollzeile vorhanden sind: source, path, channel, namespace_name, name, pod_name, source_name und aws_lambda_name. Wenn Daten über Syslog gesendet werden, wird auch das syslog-Tag analysiert.

    Extraktion nicht benötigter Daten stoppen
    Wenn eine extrahierte Zeichenfolge nicht aussagekräftig genug ist oder redundanten Text oder Informationen enthält, können Sie die Extraktion von verzichtbaren Daten dieser Art stoppen. Weitere Informationen finden Sie unter Extraktion nicht benötigter Protokolldaten stoppen.
    Extraktion bestimmter Daten sicherstellen
    Sie können sicherstellen, dass Health Log Analytics bestimmte gewünschte Begriffe extrahiert. Weitere Informationen finden Sie unter Extraktion bestimmter Protokolldaten sicherstellen.

    Dateneingabequellen zuordnen

    Sie können die Ergebnisse der automatischen Zuordnung manuell ändern, indem Sie eine JavaScript-Funktion definieren. Mitder Dateneingabezuordnung können Sie Ihre Protokolldaten nach Serviceinstanz und Verfügbarkeitszone organisieren. Eine einzelne Serviceinstanz kann mehrere Komponenten enthalten, und eine Komponente kann Protokolle von vielen verschiedenen Quelltypen empfangen. Ein Serviceinstanz-Komponenten-Paar ist jedoch eindeutig. Quelltypen basieren auf einer bestimmten Protokollstruktur und einem bestimmten Format. Serviceinstanzen und -komponenten sind breiter definiert und werden daher hauptsächlich für die logische Zuordnung verwendet.

    Durch Aktivieren des Testmodus wird vermieden, dass der Speicher Elasticsearch durch Beispieldaten überlastet wird, die nur zur Perfektionierung der Protokolldatenzuordnung verwendet werden. Wenn sich die Dateneingabe im Testmodus befindet, erstellt Health Log Analytics nicht die Quelltypen, Quellen oder andere Objekte, die im Standard-Flow erstellt werden. Die gestreamten Daten werden in dedizierten temporären Elasticsearch Indizes gespeichert, die als Komponenten in der Protokollanzeige angezeigt werden. Wenn Sie das Skript veröffentlichen und den Testmodus beenden, werden diese temporären Indizes gelöscht, um den Speicherplatzverbrauch zu minimieren.

    Wenn Sie eine JavaScript-Funktion definieren, wählen Sie „Testen“, um das Ergebnis des Skripts so anzuzeigen, wie es derzeit angegeben ist. Mit dieser Funktionalität können Sie eine Vorschau der erstellten Quelltypen und Quellen anzeigen. Anschließend können Sie das Skript verfeinern, bis das gewünschte Ergebnis erreicht ist. Beispielsweise kann es nützlich sein, die Testergebnisse mehrerer Versionen der JavaScript-Funktion zu vergleichen.
    Hinweis:
    Standardmäßig verarbeitet der Test 100 Protokolldatenmuster. Sie können diese Anzahl in den Systemeigenschaften anpassen. Weitere Informationen finden Sie unter Globale Health Log Analytics-Systemeigenschaften konfigurieren.
    Während des Setups der Dateneingabe erstellt das System unter Umständen eine zu hohe Gesamtzahl von Dateneingabequellen. Dies kann beispielsweise auf ein fehlerhaftes Zuordnungsskript zurückzuführen sein. In den Systemeigenschaften können Sie Grenzwerte für die Anzahl der pro Dateneingabe erstellten Quellen konfigurieren:
    Systemeigenschaft Beschreibung Standard
    log_source.sources_warning_limit Warngrenze für die Anzahl der pro Dateneingabe erstellten Quellen. 500
    log_source.sources_critical_limit Kritische Grenze für die Anzahl der pro Dateneingabe erstellten Quellen. 600
    Die Anzahl der Protokollquellen, die eine bestimmte Dateneingabe erstellt hat, wird im Feld Quellenanzahl für diese Dateneingabe angezeigt. Wenn die Gesamtanzahl der während der Dateneingabekonfiguration erstellten Quellen die Warngrenze erreicht, sendet das System eine Warnbenachrichtigung per E-Mail. Außerdem wird eine Nachricht auf den Seiten Dateneingabezuordnung, Protokollquellen und Dateneingabe angezeigt. Die Benachrichtigung und die Nachricht enthalten die Gesamtzahl der bisher erstellten Quellen und die drei Dateneingaben, die die meisten Quellen zu dieser Gesamtzahl beigetragen haben. Wenn keine Aktion ausgeführt wird, erstellt das System weiterhin Quellen, bis die Gesamtzahl die kritische Grenze erreicht. In diesem Fall werden das Setup der Dateneingabe und das Streaming aus allen Dateneingaben automatisch beendet. Sie können Dateneingaben nicht manuell erneut starten, bis das Problem gelöst wurde. Um diesen Status zu beheben, folgen Sie den Anweisungen im Artikel How to handle too many sources in data inputs [KB0963067] (Umgang mit zu vielen Quellen in Dateneingaben) in der Knowledge Base des Now Support.

    Protokolldaten binden

    Durch das Binden von Protokolldaten an Konfigurationselemente (CIs) in Configuration Management Database (CMDB) können Sie die CMDB nach Endpunkten durchsuchen, die einem Protokoll entsprechen. Wenn Sie eine Dateneingabe konfigurieren, binden Sie Protokolleinträge an eine Serviceinstanz, die an ein CI in der CMDB gebunden ist. Durch die Bindung von Protokolleinträgen, Serviceinstanzen und CIs kann die KI-Engine Health Log Analytics sie zur Verwendung in der Ursachenanalyse (RCA) korrelieren. Weitere Informationen finden Sie unter Konfigurieren Sie Rsyslog- , Filebeat- oder Winlogbeat-Dateneingaben oder Elasticsearch-Dateneingaben konfigurieren.