Konfigurieren SplunkDateneingaben

Freigeben Version: Yokohama

Aktualisiert 30. Januar 2025

6 Minuten Lesedauer

Konfigurieren Sie eine Dateneingabe für das Streaming von Protokollnachrichten an Ihren ServiceNowInstanz mit SplunkSchwerer Forwarder.

Vorbereitungen

Stellen Sie sicher, dass ein MID-Server Ist mit aktivierter Protokollerfassungsfunktion installiert und konfiguriert.

Wichtig:
Health Log Analytics Unterstützt IPv6 nicht. Um mit der Anwendung zu arbeiten, konfigurieren Sie MID-ServerAn IPv4.
Wenn MID-ServerIP-Adresse wird durch Netzwerkadressübersetzung (Network Address Translation, NAT), ein Lastenausgleichsmodul oder ein ähnliches Gerät verfügbar gemacht. Sie muss eine öffentliche IP-Adresse haben. In MID-ServerEigenschaften, fügen Sie eine Eigenschaft mit dem Namen hinzu mid.public_ipMit der öffentlichen IP-Adresse als Wert. Weitere Informationen finden Sie unter Erstellen Sie eine MID-Servereigenschaft .
Informationen zum Versand Ihrer mit SSL-TLS verschlüsselten Protokolle finden Sie unter Streaming von Daten mit rsyslog und Filebeat unter Verwendung von SSL [KB0866319] artikel in Now SupportKnowledge Base.

Konfigurieren SplunkUm Protokolle an zu weiterleiten ServiceNowInstanz mit Syslog.
Die Konfiguration dieser Dateneingabe setzt das Vorhandensein einer Umgebungsvariablen namens $SPLUNK_HOME voraus. In Unix-ähnlichen Umgebungen verweist diese Variable normalerweise auf /Opt/splunk .
Hinweis:
Die WindowsUmgebung verwendet dieselbe Verzeichnisstruktur, jedoch mit umgekehrten Schrägstrichen (\).

Erforderliche Rolle: evt_mgmt_admin

Warum und wann dieser Vorgang ausgeführt wird

Dieses Setup-Verfahren dient zum Streamen von Protokollen an Ihre Instanz mithilfe von SplunkSchwerer Forwarder. Wenn Sie keinen schweren Forwarder verwenden können, können Sie einen verwenden SplunkStattdessen Universal-Weiterleitung. Weitere Informationen finden Sie unter Universeller Splunk-Weiterleitung als Versandmethode [KB0961378] artikel in der Now Support-Wissensdatenbank.

Wird in gestartet YokohamaFamilien-Release, Sie können neu verwenden SplunkDateneingaben zum Erfassen von Daten im vorverarbeiteten Protokollweiterleitungsformat („vorbereitet“), das SplunkVerwendet standardmäßig. Im Modus „vorbereitet“ SplunkWeiterleitung bettet Konfigurationsdetails wie Host, Quelltyp, Quelle und andere Einstellungen in die Protokolldaten ein. Daten werden in erfasst HLAIn diesem Format wird sichergestellt, dass jede Protokollzeile alle relevanten kontextbezogenen Informationen enthält. Wenn Sie die Option für vorbereitete Daten in verwenden HLA, Es ist nicht erforderlich, den zu bearbeiten Eigenschaften.Konf Und Transforms.conf Dateien während SplunkDateneingabekonfiguration.

Hinweis:

Alle Splunk-Konfigurationsdateien befinden sich in $SPLUNK_HOME/etc/System/local/ Ordner. Wenn eine Konfigurationsdatei, die Sie ändern müssen, nicht vorhanden ist, erstellen Sie sie, und speichern Sie sie in diesem Ordner.

Hinweis:

A MID-ServerWenn ein Ausfall vorliegt, kann dies zu einer Blockierung in führen SplunkPipeline. Eine vollständige Verarbeitungswarteschlange wirkt sich nicht auf die Pipeline aus.

Prozedur

Navigieren zu Alle > Health Log Analytics > Dateneingabe > Dateneingabenan.
Wählen Sie auf der Seite „Dateneingaben“ die Option aus Neu .
Wählen Sie aus SplunkDateneingabe Zum Streamen von Protokollen über einen SplunkSchwerer Forwarder oder Universal-Forwarder .
Auf Erste Schritte Registerkarte, füllen Sie die Formularfelder aus.
Eine Beschreibung der Felder finden Sie unter Splunk Dateneingabekonfigurationsfelder.
Auf Ausgaben.Konf Fügen Sie die folgenden Strophe zu hinzu Ausgaben.Konf Datei, damit der Absender Protokolldaten über das ausgewählte Transportprotokoll an den ausgewählten Port weiterleitet, und dann auswählen Weiter .

Hinweis:
Wenn Sie bereits Ausgaben konfiguriert haben, führen Sie diese Zeilen mit Ihrer vorhandenen Konfiguration zusammen.
- Weiterleitung über TCP:
  Hinweis:
  Verwenden Sie den ersten Absatz nur, wenn Sie noch keinen tcpout-Absatz konfiguriert haben. Der zweite Absatz ist für die Weiterleitung an erforderlich Health Log AnalyticsÜber TCP.
```
[tcpout]
indexAndForward = 1
defaultGroup = nothing

[tcpout:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
sendCookedData = false
compressed = false
```
- Weiterleitung über UDP:
  Hinweis:
  Verwenden Sie den ersten Absatz nur, wenn Sie noch keinen syslog-Absatz konfiguriert haben. Der zweite Absatz ist für die Weiterleitung an erforderlich Health Log AnalyticsÜber UDP.
```
[syslog]defaultGroup = nothing

[syslog:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
```
Auf Eigenschaften.Konf Registerkarte bearbeiten Eigenschaften.Konf Datei, und wählen Sie dann aus Weiter .

Hinweis:
Wenn Sie ausgewählt haben Vorbereitete Daten Verwenden Option auf Erste Schritte Registerkarte, muss nicht bearbeitet werden Eigenschaften.Konf Datei.
1. Ändern Sie vorhandene Strophe, oder fügen Sie Strophen hinzu, um Quelltypen, Serviceinstanzen und Hosts für die Weiterleitung an zu markieren Health Log Analytics.
  Hinweis:
  Um die besten Ergebnisse zu erzielen, markieren Sie nur Quelltypen für die Weiterleitung.
  Verwenden Sie beim Hinzufügen von Absätzen die folgenden Namensformate:
  
  Quelltypen: [ <source type>]. Beispiel: [Syslog]
  
  Quellen (nicht empfohlen): [Quelle:: <source>]. Beispiel: [Source::myApp]
  
  Hosts (nicht empfohlen): [Host::<host>]. Beispiel: [Host::10.9,8.7]
2. Fügen Sie die folgende Zeile am Ende jedes Absatzes hinzu, an den Sie weiterleiten möchten Health Log AnalyticsÜber TCP oder UDP.
  - Weiterleitung über TCP:
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla
  - Weiterleitung über UDP:
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
    Diese Zeile wendet die Transformation „CLONE_SOURCETYPE“ auf die Daten an, um Manipulationen zu verhindern, die für erforderlich sind Health Log AnalyticsVerarbeitung von beeinflusst Ihre vorhandene Daten-Pipeline. Beispiel: Um alle Protokolle vom Quelltyp „syslog“ an zu senden Health Log Analytics:
    [syslog] #existing configuration goes here TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
3. Fügen Sie den folgenden Absatz hinzu, um alle relevanten Transformationen anzuwenden, die für erforderlich sind Health Log AnalyticsWird verarbeitet.
  Hinweis:
  Splunk Ermöglicht Ihnen das Anonymisieren vertraulicher Daten für den geklonten Quelltyp für das ausgewählte Protokoll. Weitere Informationen finden Sie im Abschnitt „Daten anonymisieren“ in Splunk-Dokumentation .
  - Weiterleitung über TCP:
    
    [send_to_hla_tcp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
  - Weiterleitung über UDP:
    
    [send_to_hla_udp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

Auf Transforms.conf Fügen Sie die folgenden Strophe zu hinzu Transforms.conf Datei, und wählen Sie dann aus Weiter .

Hinweis:

Wenn Sie ausgewählt haben Vorbereitete Daten Verwenden Option auf Erste Schritte Registerkarte, muss nicht bearbeitet werden Transforms.conf Datei.

Der dritte Absatz klont die Protokolle zur weiteren Bearbeitung, ohne Ihre vorhandene Indizierung zu beeinträchtigen. Die verbleibenden Strophen fügen die Informationen hinzu, die zum Aktivieren der richtigen Funktion erforderlich sind Health Log AnalyticsWird verarbeitet.

Hinweis:

Sie können vertrauliche Daten verschleiern, indem Sie hier eine Transformation hinzufügen und dann den Absatz des geklonten Quelltyps in ändern Eigenschaften.Konf Datei.

[accepted_keys]
#Custom field for preserving sourcetype
hla_sourcetype_preservation=_hla_sourcetype

#Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
[clone_for_hla_store_sourcetype]
SOURCE_KEY = MetaData:Sourcetype
REGEX = ^sourcetype::(.+)$
FORMAT = hla_sourcetype::$1
DEST_KEY = _hla_sourcetype

[clone_for_hla]
REGEX=.
DEST_KEY = _TCP_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_tcp

#Only used in case of UDP forwarding
[clone_for_hla_udp]
REGEX=.
DEST_KEY = _SYSLOG_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_udp

#Add metadata to the log message, since metadata is lost when forwarding externally
[health_log_analytics_add_sourcetype]
SOURCE_KEY = _hla_sourcetype
REGEX = ^hla_sourcetype::(.+)$
FORMAT = sourcetype="$1"] $0
DEST_KEY = _raw

[health_log_analytics_add_host]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = host="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_source]
SOURCE_KEY = MetaData:Source
REGEX = ^source::(.+)$
FORMAT = source="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_syslog5424]
REGEX=.
FORMAT = - - [sdid@1234 $0
DEST_KEY = _raw

[health_log_analytics_add_index]
SOURCE_KEY = _MetaData:Index
REGEX = ^(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_syslogHost]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_time]
SOURCE_KEY = _time
REGEX = ^(.+)$
FORMAT = <182>1 $1 $0
DEST_KEY = _raw

Auf Finish.conf Registerkarte neu starten SplunkDurch Ausführen von $SPLUNK_HOME/bin/splunk-Neustart splunkd Befehl.
Wählen Sie Speichern.
Health Log Analytics Fügt den Dateneingabedatensatz der Tabelle „Dateneingaben“ hinzu.
Stellen Sie sicher, dass die Dateneingabe korrekt konfiguriert ist, indem Sie auswählen Verbindung testen .

Health Log AnalyticsVersucht, eine Verbindung zu herzustellen MID-ServerZum Daten-Repository.
- Wenn die Verbindung hergestellt wurde, wird Verbindung testen Schaltfläche ist deaktiviert und Veröffentlichen Schaltfläche ist aktiviert.
- Wenn die Verbindung fehlgeschlagen ist, wird der Grund für den Fehler in angezeigt Fehlermeldung Feld. Dieses Feld wird nur angezeigt, wenn ein Streaming-Fehler aufgetreten ist.
  Beheben Sie das Problem, wählen Sie aus Speichern Wenn Sie die Konfiguration geändert haben, und wählen Sie dann aus Verbindung testen Um die Verbindung erneut zu testen.
  
  Hinweis:
  Sie können die Dateneingabekonfiguration nur veröffentlichen, wenn die Verbindung erfolgreich erstellt wurde.
Hinweis:
Sie können zur zuletzt veröffentlichten Konfiguration zurückkehren, indem Sie auswählen Änderungen Rückgängig Machen . Diese Option ist nur verfügbar, wenn Sie eine Konfiguration ändern, die zuvor veröffentlicht wurde.
Wählen Sie Aus Veröffentlichen Um die Dateneingabe in zu veröffentlichen MID-Server.

Ergebnisse

Der Konfigurationsprozess für die Dateneingabe ist abgeschlossen. Health Log AnalyticsFügt den Dateneingabedatensatz zu hinzu Dateneingaben Tabelle und hängt die Konfigurationsdatei an den Dateneingabedatensatz an. Die Dateneingabe beginnt mit dem Streaming von Protokolldaten an Ihren ServiceNowInstanz mit SplunkAbsender.

Nächste Maßnahme

Stellen Sie sicher, dass die Dateneingabe Daten streamt.