Protokolldetails für klassischen Datenerfasser

  • Freigeben Version: Yokohama
  • Aktualisiert 30. Januar 2025
  • 6 Minuten Lesedauer
  • Performance Analytics Die Punktzahlerfassung folgt dem hier beschriebenen Prozess. Zur Unterstützung der Problembehandlung wird eine Zuordnung zwischen Auftragsschritten und Protokolleinträgen bereitgestellt.

    Sammlungsübersicht

    Die Datenerfassungsaufgabe umfasst das Ausführen einer SQL-Abfrage für jede Indikatorquelle, die den Datensammler verwendet. Die Abfrage wird für jede Sammlungszeit vom Startdatum bis zum Enddatum wiederholt. Anschließend werden Abfragen für die nächste Indikatorquelle ausgeführt. Jeder Schritt zum Ausführen der Abfrage ist im Datensammlungsprotokoll dokumentiert.
    Abbildung : 1. Übersicht des Datensammlungsauftrags
    Flussdiagramm, das die Beziehung zwischen den verschiedenen Prozessebenen in einem Datensammlungsauftrag zeigt

    Im Protokoll angezeigte Optimierungseigenschaften

    Der Datenerfasser verfügt über mehrere Optimierungen, die in den Systemeigenschaften aktiviert oder deaktiviert werden können. Der Anfang des Aufgabenprotokolls enthält den Status dieser Eigenschaften.

    Hinweis:
    Verwechseln Sie diese Optimierungseigenschaften nicht mit dem neuen, optimierten Datenerfasser. Diese Eigenschaften gelten nur für den klassischen Datensammler. Der neue Datenerfasser ist auf einer grundlegenderen Ebene optimiert.
    Tabelle : 1. Eigenschaften zur Optimierung der Datensammlung
    Optimierung Beschreibung Systemeigenschaft
    Geschachtelte Sammlung Ersetzt die flache Zuordnung, um redundante Objekte zu reduzieren. Beispiel: Anstatt für jede Aufgliederung und jedes Element in diesem Indikator identische Indikatorobjekte zu erstellen, wird nur ein einziges Objekt für den Indikator erstellt. com.snc.pa.dc.nested_collection

    Standardwert: wahr

    Snapshots löschen

    Now Platform speichert eine maximale Anzahl von Performance Analytics Snapshots im Arbeitsspeicher, bevor sie in die Datenbank entladen werden.

    com.snc.pa.dc.flush_snapshot_count

    Standardwert: 1000

    Verwenden Sie Hashcode für die eindeutige Anzahl Speichert eindeutige Zusammenfassungen der Anzahl als Hashcode anstelle als separate Werte. com.snc.pa.dc.use_hashcode_for_distinct

    Standardwert: wahr

    Sammlungsauftrag starten und schließen

    Folgen Sie dem Datenerfassungsprozess, wie in den Protokollnachrichten angezeigt. Die Protokollnachrichten in jedem Unterprozess wurden in eigene Tabellen getrennt.

    Hinweis:
    Dieses Protokoll ist für den ursprünglichen Datenerfasser vorgesehen. Wenn Ihre Instanz diesen Datenerfasser verwendet, ist der Systemparameter com.snc.pa.dc.hsql vorhanden und hat den Wert „falsch“. Andernfalls verwenden Sie den optimierten Datensammler wie in Datensammlung optimierenbeschrieben. Weitere Informationen zu diesem Protokoll finden Sie unter Protokolldetails für optimierten Datensammler.
    Schritt des Sammlungsauftrags Beispiel für den resultierenden Protokolleintrag
    Zeigt die Domäne des Sammlungsauftrags „Als Benutzer ausführen“ an. Benutzer <Administrator> gehört zu Domäne „Global“
    Sammlung wird gestartet. Der Auftragsstart gibt an, ob Punktzahlen, Textverzeichnis oder beides erfasst werden soll. Nachrichten geben auch die Einstellungen für die Eigenschaften der Optimierung der Datensammlung an. Sammlung von Punktzahlen und Textindex wird gestartet. Wert der Eigenschaften im System –

    Flush-Snapshot-Anzahl: 1.000

    Ist geschachtelte Sammlung: wahr

    Verwenden von Hashcode für Anzahl eindeutiger Werte: true

    Zeigt die Domänen an, für die Punktzahlen gesammelt werden. Zeigt auch andere relevante Details zu den Domänen an. DomainConfig: Testing Domain Config Collection logs - 3d359877b77000106886e664de11a97c, Type: conditions, RollUpType: roll_up_children, collectAggregate? Yes, collectChildren?: Yes, AggregateDomain: Name: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, Domains: Default,MSP,ACME,Cisco,Initech,Oceanic Airlines
    Listet Indikatorquellen auf, für die der Auftrag Daten sammelt, einschließlich ihrer eindeutigen IDs. Indicator Sources to collect: Incidents.New: b54f2c23d7030100b96d45a3ce61032f, Incidents.Open: b5cf2c23d7030100b96d45a3ce6103cc, Incidents.Closed: 2ac8dd31ff2302001e68ffffffffff3d, Incidents.Resolved: 4c207c23d7030100b96d45a3ce610308
    Listet jeden Indikator auf, der dem Auftrag zugeordnet ist, sowie die Indikatoreigenschaften, die sich auf die Datensammlung beziehen:
    • Werden Datensätze in einem Snapshot erfasst?
    • Werden Aufgliederungen ausgeschlossen?
    • Werden die Sammlungszeiträume in der Indikatorquelle überschrieben?
    • Wird die Aufgliederungsmatrix erfasst?
    • Werden bei der Erfassung der Aufgliederungsmatrix Aufgliederungskombinationen ausgeschlossen?
    JobIndicator: Anzahl der offenen Incidents – de537dc3d7131100b96d45a3ce610305 Jobindikatoreigenschaften: sammelnIndikator?: Ja, Aufgliederungssammlungstyp: MIT_EXCLUDE Ausgeschlossene Aufgliederungen: Zuweisungsgruppe, Statusindikatoreigenschaften => CollectoringRecords: Ja, Überschriebene Sammlungszeiträume: Nein, Geskriptet?: Nein, Aufgliederungskombinationen?: Ja, ausgeschlossene Aufgliederungskombinationen: Keine Kombination ist ausgeschlossen.
    Iterationsschritte für jede Indikatorquelle Siehe Tabelle Iterationsschritte für jede Indikatorquelle.
    Statistiken für den Datensammlungsauftrag anzeigen Statistiken: Einfügungen 184, Aktualisierungen 0, Löschungen 92, Fehler 0, Warnungen 0
    Auftrag abschließen Datensammlung beendet

    Iterationsschritte für jede Indikatorquelle

    Schritt des Sammlungsauftrags Beispiel für den resultierenden Protokolleintrag
    Indikatorquelle abrufen Indikatorquelle Incidents.Open wird verarbeitet...
    Listenindikatoren mit zusätzlichen Bedingungen, die über die von der Indikatorquelle geerbten Bedingungen hinausgehen. Indikator: Anzahl neu zugewiesener offener Incidents – ffb59561ff2302001e68ffffffffff33, zusätzliche Bedingungen: reassignment_count>0
    Gibt an, ob die Punktzahlerfassung der geschachtelten Datenstruktur folgt, anstatt eine flache Zuordnung zu verwenden. Durch die geschachtelte Sammlung werden weniger redundante Objekte im Arbeitsspeicher erstellt.

    Die nicht geschachtelte Sammlung unterstützt die Stapelverarbeitung von Punktzahlen.

    Geschachtelte Sammlung wird verwendet.

    Hinweis: Batch-Einfügungen von Punktzahlen werden für die geschachtelte Sammlung nicht unterstützt.

    Iterationsschritte für jeden Erfassungszeitraum. Siehe Tabelle Iterationsschritte für jeden Erfassungszeitraum
    Nächste Indikatorquelle abrufen Indikatorquelle Incidents.New wird verarbeitet

    Iterationsschritte für jeden Erfassungszeitraum

    Schritt des Sammlungsauftrags Beispiel für den resultierenden Protokolleintrag
    Startdatum der Sammelaufgabe Datensammlung für 20191103 bei Indikatorquellen-Incidents.Open
    Rufen Sie die folgenden Felder ab:
    • Die eindeutigen Felder der Aufgliederungsquellen (normalerweise sys_id)
    • Die in Aufgliederungszuordnungen verwendeten Indikatorfelder
    • Die Tabellenfelder, die in geskripteten Aufgliederungszuordnungen verwendet werden
    • Die in Text Analytics verwendeten Indikatorquellfelder, wenn der Textindex gesammelt wird (enthält normalerweise short_description)
    „short_description,sys_id, opened_at, assignment_group, description, priority, category" wird von "incident“ abgerufen
    Generieren von SQL basierend auf den Bedingungen, die in der Indikatorquelle angegeben sind.
    Hinweis:
    Wenn die Indikatorquelle „Heute“ in einer der Bedingungen angibt, wird „Heute“ relativ zu dem Zeitraum betrachtet, für den die Datenerfassungsaufgabe ausgeführt wird. Beispielsweise enthält die Indikatorquelle Incidents.New die Bedingung [Geöffnet][am][Heute]. Wenn die Tage so definiert sind, dass sie um 07:00:00 beginnen, und Daten für 2019-10-28 gesammelt werden, erzeugt der Auftrag das SQL-Skript auf der rechten Seite.
    SELECT task0.`sys_id` FROM task task0 WHERE task0.`sys_class_name` = 'incident' AND (task0.`opened_at` >= '2019-10-28 07:00:00' AND task0.`opened_at` <= '2019-10-29 06:59:59')
    Zeigen Sie die Anzahl der von SQL abgerufenen Datensätze an. 150 Zeilen aus Indikatorquelle „Incidents.Open“ (Faktentabelle: Incident) abgerufen
    Zuordnungs-/Reduzierungsfunktion ausführen, um Indikatorpunktzahlen zu berechnen. Siehe Tabellen Schritte der Zuordnungs-/Reduzierungsfunktion
    Wenn die Textindizierung aktiv ist und für die Indikatorquelle konfiguriert wurde, speichert der Datensammler den resultierenden Textindex. Textindex für Indikatorquelle Incidents.Open wird gespeichert
    Von Textindex verwendete Bytes: 41,984 für: Incidents.Open
    Beginnen Sie mit dem Speichern neu gesammelter Ergebnisse für die Indikatorquelle. Zu speichernde Punktzahlen: 374.842 (mit Ausnahme der verzögert ausgewerteten unterschiedlichen Punktzahlen der Ebene 2 für Indikatoren – ID – Alle Incidents mit allen 3 Aufgliederungen)
    Jeder Indikator mit einem NULL-Wert wird protokolliert. „Wert, wenn null“ gespeichert: 0,0 als Punktzahl für Indikator: Anzahl der durch Wissen vermiedenen Incidents
    Speichern von Ergebnissen beenden. Punktzahlen gespeichert: 1.125.057
    Gespeicherte gesammelte Ergebnisse
    Festlegen für welche Indikatoren der Datensammler keine Punktzahlen sammelt. Nicht sammeln für Indikator: Summe des Alters der offenen Incidents mit ausgeschlossener Aufgliederung: Zuweisungsgruppe
    Beenden der Datensammlung für diese Indikatorquelle für diesen Zeitraum. Sammlung für 20200519 auf Indikatorquelle Incidents.Offen abgeschlossen
    Zeigen Sie die durchschnittliche Zeit an, die für einen Datensatz aufgewendet wurde, um zusätzliche Bedingungen zu verarbeiten, die für Indikatoren festgelegt wurden. Durchschnittliche Zeit für die Verarbeitung der zusätzlichen Indikatorbedingung für jeden Datensatz: 138 ms

    Schritte der Zuordnungs-/Reduzierungsfunktion

    Schritt des Sammlungsauftrags Beispiel für den resultierenden Protokolleintrag
    Die Zuordnungs-/Reduzierungsfunktion wird ausgeführt. Zuordnungs-/Reduzierungsfunktion wird für Indikatorquelle Incidents.Open angewendet ...
    Warnung, wenn die Textindizierung für den Auftrag aktiv ist, aber aufgrund einer fehlenden oder ungültigen Textindexkonfiguration nicht ausgeführt werden kann. Textindexsammlung wird übersprungen, da eine Textindexkonfiguration fehl oder ungültig ist
    Löschen früherer Punktzahlen für die Indikatoren und Aufgliederungen, die die Indikatorquelle verwenden. Vorherige Ergebnisse für die Indikatorquelle Incidents.Open werden gelöscht ...
    Vorherige Ergebnisse 38 für Indikator „Externe Anmeldungen“ gelöscht
    Vorherige Ergebnisse 21 für Indikator gelöscht: Fehlgeschlagene Anmeldungen
    Verarbeiten Sie jeden Datensatz in der Indikatorquelle, um Punktzahlen zu berechnen. Protokollnachrichten verfolgen die laufende Summe der verarbeiteten Datensätze und die Speichernutzung. Die Verarbeitung für jeden Datensatz umfasst:
    • Führen Sie Skripts aus, oder werten Sie sie aus.
    • Indikatorbedingungen validieren
    • Indikatorwert berechnen
    • Für jede Aufgliederung:
      1. Berechnen der Aufgliederungs-Punktzahl oder Ausführen des Aufgliederungs-Skripts.
      2. Ermitteln aller eindeutigen Aufgliederungswerte.
      3. Erstellen oder aktualisieren des Array für Punktzahlen oder Snapshots. Das Array ist: Indikator, Aufgliederung 1, Artefakt 1, Aufgliederung 2, Artefakt 2, Domäne, Wert, Array von [sys_id]
    18 % (1) Datensätze verarbeitet, Ergebnisobjektgröße: 5 MB
    42 % (2) Datensätze verarbeitet, Ergebnisobjektgröße: 9 MB
    76 % (3) Datensätze verarbeitet, Ergebnisobjektgröße: 14 MB
    100 % (4) Datensätze verarbeitet, Ergebnisobjektgröße: 20 MB
    Die Zuordnungs-/Reduzierungsfunktion wird abgeschlossen. Angewendete Zuordnungs-/Reduzierungsfunktion