Verständnis Health Log Analytics

Health Log Analytics prognostiziert IT-Probleme, bevor Ihre Benutzer durch sie beeinträchtigt werden. Die Anwendung hilft Ihnen, Probleme schneller zu lösen, indem maschinell generierte Protokolldaten in Echtzeit erfasst, interpretiert und korreliert werden. Sie erkennt Abweichungen vom normalen Verhalten und warnt Sie vor möglichen Problemen.

Health Log Analytics empfängt und verarbeitet Protokolle über den MID-Server und sendet Events an die Anwendung ServiceNow Ereignismanagement.

Daten, die Health Log Analytics verarbeiten kann

Health Log Analytics kann jede Art von maschinell generierten Textprotokolldaten verarbeiten, einschließlich Anwendungs-, Infrastruktur- und Netzwerkprotokolle sowie andere Arten von Textprotokolldaten. Configuration Management Database (CMDB) kann zwar nützlich sein, um hochwertige Events und Warnungen zu generieren, dies ist aber nicht erforderlich.

Hinweis:

Health Log Analytics unterstützt keine binären Protokolle und UTF-8-Protokolle.

Architektur

Health Log Analytics sammelt Protokolle, die von Endpunkten oder Data Lakes wie Splunk und Elasticsearch in Ihre ServiceNow-Instanz gestreamt werden. Die Instanz empfängt die Protokolle über die MID Server -Connector-Instanz. Health Log Analytics identifiziert und selektiert Anomalien in Ihren Protokolldaten mithilfe von nicht überwachten ML-Modellen (maschinelles Lernen). Anschließend werden die Anomalien gruppiert und weitere Algorithmen angewendet, um die Ursache des Problems zu identifizieren.

Die folgende Abbildung zeigt ein Setup mit Rsyslog, Splunk, Filebeat und Elasticsearch.

Abbildung : 1. Health Log Analytics-Architektur

Workflow

Health Log Analytics sammelt und verarbeitet automatisch Protokolldaten. Die Daten werden für die Analyse durch die Betreiber strukturiert, und es werden aussagekräftige Warnungen und Vorschläge generiert, die in Ereignismanagement angezeigt werden.

Das Diagramm zeigt den Health Log Analytics-Workflow vom Sammeln der Daten bis zum Senden eines Events oder einer Warnung an Ereignismanagement.

Abbildung : 2. Health Log Analytics-Workflow

Erfassung

Diese Ebene verbindet Ihre Umgebung mit Health Log Analytics. Sie können Ihre Protokolle direkt von Servern und Endpunkten oder aus Protokoll-Repositorys streamen. Das optionale Guided Setup unterstützt Sie beim Erstellen von Dateneingabe-Connectors für die folgenden häufigen Datenquellen:

• Rsyslog
• Beats
• Splunk
• Elasticsearch
• MID-Server
• TCP

Strukturierung

Diese Ebene befasst sich mit der Strukturierung von Protokolldaten und ihrer automatischen Zuordnung zu logischen Silos, die als Komponenten bezeichnet werden. Die Datenstrukturierung kann automatisch oder manuell erfolgen.

Das System strukturiert Protokolldaten automatisch, indem es aus eingehenden Protokollnachrichten die folgenden Eigenschaften extrahiert: Nachricht, Zeitstempel, Host, Schweregrad und externe IDs. Es extrahiert explizite Werte wie „property-name“ und „value is IP“ sowie semantische Werte wie Länge, Anzahl englischer Wörter und Varianz.

Bei der automatischen Zuordnung werden Protokollbeispiele und Metadaten automatisch den entsprechenden Tags zugewiesen. Das System versucht, Protokollzeilen zuzuordnen, indem es die Quelle analysiert, von der die Daten gestreamt werden. Die Zuordnung basiert auf Agent-Hinweisen und allgemeinen Transport-Header-Feldern.

Anreicherung

Auf dieser Ebene geht es um die Identifizierung der variablen Teile einer Protokollnachricht.

Abbildung : 3. Health Log Analytics-Workflow: Anreicherung

Zudem werden Stichwörter und kontextbezogene Eigenschaften identifiziert. Im Bild sind „WARN“ und „Failed“ die zu verfolgenden Stichwörter. „User“, „source IP“ und „port“ sind die kontextbezogenen Eigenschaften.

Analyse

Auf dieser Ebene wird jede Protokollzeile indiziert. Health Log Analytics extrahiert Eigenschaften aus der inneren Protokollnachricht. Diese tragen zu Modellen von dem Verhalten bei, vom dem das System lernt, es zu erwarten. Anomales Verhalten ist Verhalten, das von diesem erwarteten Verhalten abweicht. Sie können nach einem Event und seinen wichtigsten Eigenschaften für die manuelle Fehlerbehebung suchen.

Maschinelles Lernen (ML) und künstliche Intelligenz (KI)

Health Log Analytics nutzt erweiterte, unüberwachte ML-Algorithmen, um Muster in Protokollen zu erkennen und ihr eindeutiges Datenverhalten zu erlernen. Anschließend werden in Echtzeit dynamische Schwellenwerte basierend auf der Datensignatur festgelegt, um Probleme zu erkennen, wenn sie zum ersten Mal auftreten. Wenn das System eine Abweichung vom typischen Muster erkennt, sendet es ein Event an Ereignismanagement.

Warnung in Ereignismanagement

Health Log Analytics sendet Events an Ereignismanagement. In Ereignismanagement werden Health Log Analytics-Warnungen in der Liste All alerts (Alle Warnungen) angezeigt. Diese Liste ermöglicht es Betreibern, Warnungen des Events und den Health Log Analytics-Warntyp an einem einzigen Ort anzuzeigen.