Protokolldetails für klassischen Datensammler

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 6 Minuten Lesedauer
  • Performance Analytics Die Punktzahlerfassung folgt dem hier beschriebenen Prozess. Zur Unterstützung der Problembehandlung wird eine Zuordnung zwischen Auftragsschritten und Protokolleinträgen bereitgestellt.

    Sammlungsübersicht

    Die Datenerfassungsaufgabe umfasst das Ausführen einer SQL-Abfrage für jede Indikatorquelle, die den Datensammler verwendet. Die Abfrage wird für jede Sammlungszeit vom Startdatum bis zum Enddatum wiederholt. Anschließend werden Abfragen für die nächste Indikatorquelle ausgeführt. Jeder Schritt zum Ausführen der Abfrage ist im Datensammlungsprotokoll dokumentiert.
    Abbildung : 1. Allgemeine Ansicht der Datenerfassungsaufgabe
    Flussdiagramm, das die Beziehung zwischen den verschiedenen Prozessebenen in einer Datenerfassungsaufgabe zeigt

    Im Protokoll angezeigte Optimierungseigenschaften

    Der Datensammler verfügt über mehrere Optimierungen, die in den Systemeigenschaften ein- oder ausgeschaltet werden können. Der Beginn des Auftragsprotokolls enthält den Status dieser Eigenschaften.

    Hinweis:
    Verwechseln Sie diese Optimierungseigenschaften nicht mit dem neuen, optimierten Datensammler. Diese Eigenschaften gelten nur für den klassischen Datensammler. Der neue Datensammler wurde auf einer grundlegenderen Ebene optimiert.
    Tabelle : 1. Eigenschaften der Optimierung der Datenerfassung
    Optimierung Beschreibung Systemeigenschaft
    Geschachtelte Sammlung Ersetzt die flache Zuordnung, um redundante Objekte zu reduzieren. Anstatt beispielsweise identische Indikatorobjekte für jede Aufgliederung und jedes Element in diesem Indikator zu erstellen, wird nur ein Objekt für den Indikator erstellt. com.snc.pa.dc.nested_collection

    Standardwert: true

    Snapshots leeren

    Now Platform speichert eine maximale Anzahl von Performance Analytics Snapshots im Speicher, bevor sie in die Datenbank geladen werden.

    com.snc.pa.dc.flush_snapshot_count

    Standard: 1000

    Hashcode für eindeutige Anzahl verwenden Speichert unterschiedliche Zusammenfassungen der Anzahl als Hashcode anstatt als separate Werte. com.snc.pa.dc.use_hashcode_for_distinct

    Standardwert: true

    Sammlungsauftrag starten und schließen

    Folgen Sie dem Datenerfassungsprozess, wie in den Protokollnachrichten angegeben. Die Protokollnachrichten in jedem Unterprozess wurden in eigene Tabellen aufgeteilt.

    Hinweis:
    Dieses Protokoll ist für den ursprünglichen Datensammler. Wenn Ihre Instanz diesen Datensammler verwendet, ist der Systemparameter com.snc.pa.dc.hsql vorhanden und auf „falsch“ festgelegt. Andernfalls verwenden Sie den optimierten Datensammler, wie in Optimieren der Datenerfassungbeschrieben. Weitere Informationen zu diesem Protokoll finden Sie unter Protokolldetails für optimierten Datensammler.
    Schritt des Sammlungsauftrags Beispiel für den resultierenden Protokolleintrag
    Zeigt die Domäne des Sammlungsauftrags „Als Benutzer ausführen“ an. Benutzer <Administrator> gehört zu Domäne „Global“
    Sammlung wird gestartet. Der Auftragsstart gibt an, ob Punktzahlen, Textverzeichnis oder beides erfasst werden soll. Nachrichten geben auch die Einstellungen der Optimierungseigenschaften der Datenerfassung an. Start der Sammlung von Punktzahlen und Textindex. Wert der Eigenschaften im System –

    Flush-Snapshot-Anzahl: 1.000

    Ist geschachtelte Sammlung: true

    Hashcode für Anzahl eindeutiger Werte wird verwendet: true

    Zeigt die Domänen an, für die Punktzahlen gesammelt werden. Zeigt auch andere relevante Details zu den Domänen an. DomainConfig: Testing Domain Config Collection logs - 3d359877b77000106886e664de11a97c, Type: conditions, RollUpType: roll_up_children, collectAggregate? Yes, collectChildren?: Yes, AggregateDomain: Name: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, Domains: Default,MSP,ACME,Cisco,Initech,Oceanic Airlines
    Listet Indikatorquellen auf, für die der Auftrag Daten sammelt, einschließlich ihrer eindeutigen IDs. Indicator Sources to collect: Incidents.New: b54f2c23d7030100b96d45a3ce61032f, Incidents.Open: b5cf2c23d7030100b96d45a3ce6103cc, Incidents.Closed: 2ac8dd31ff2302001e68ffffffffff3d, Incidents.Resolved: 4c207c23d7030100b96d45a3ce610308
    Listet jeden Indikator auf, der dem Auftrag zugeordnet ist, sowie die Indikatoreigenschaften, die sich auf die Datensammlung beziehen:
    • Werden Datensätze in einem Snapshot erfasst?
    • Werden Aufgliederungen ausgeschlossen?
    • Werden die Sammlungszeiträume in der Indikatorquelle überschrieben?
    • Wird die Aufgliederungsmatrix erfasst?
    • Werden bei der Erfassung der Aufgliederungsmatrix Aufgliederungskombinationen ausgeschlossen?
    JobIndicator: Anzahl der offenen Incidents – de537dc3d7131100b96d45a3ce610305 Job-Indikator-Eigenschaften: collectIndicator?: Ja, BreakdownCollectionType: MIT_EXCLUDE Ausgeschlossene Aufgliederungen: Zuweisungsgruppe, Statusindikator-Eigenschaften => CollectingRecords: Ja, Überschriebene Sammlungszeiträume: Nein, Geskriptet?: Nein, Aufgliederungskombinationen?: Ja, ausgeschlossene Aufgliederungskombinationen: Es wird keine Kombination ausgeschlossen.
    Iterationsschritte für jede Indikatorquelle Siehe Tabelle Iterationsschritte für jede Indikatorquelle.
    Statistiken für den Datensammlungsauftrag anzeigen Statistiken: Einfügungen 184, Aktualisierungen 0, Löschungen 92, Fehler 0, Warnungen 0
    Auftrag abschließen Datensammlung beendet

    Iterationsschritte für jede Indikatorquelle

    Schritt des Sammlungsauftrags Beispiel für den resultierenden Protokolleintrag
    Indikatorquelle abrufen Indikatorquelle Incidents.Open wird verarbeitet...
    Listenindikatoren mit zusätzlichen Bedingungen, die über die von der Indikatorquelle geerbten Bedingungen hinausgehen. Indikator: Anzahl neu zugewiesener offener Incidents – ffb59561ff2302001e68ffffffffff33, zusätzliche Bedingungen: reassignment_count>0
    Gibt an, ob die Punktzahlsammlung der geschachtelten Datenstruktur folgt, anstatt eine flache Zuordnung zu verwenden. Durch die verschachtelte Sammlung werden weniger redundante Objekte im Speicher erstellt.

    Nicht verschachtelte Sammlungen unterstützen die Stapelverarbeitung von Punktzahlen.

    Verwenden einer verschachtelten Sammlung.

    Hinweis: Batch-Einfügungen von Punktzahlen werden bei einer verschachtelten Sammlung nicht unterstützt.

    Iterationsschritte für jeden Erfassungszeitraum. Siehe Tabelle Iterationsschritte für jeden Erfassungszeitraum
    Nächste Indikatorquelle abrufen Indikatorquelle Incidents.New wird verarbeitet

    Iterationsschritte für jeden Erfassungszeitraum

    Schritt des Sammlungsauftrags Beispiel für den resultierenden Protokolleintrag
    Startdatum der Sammelaufgabe Wird für 20191103 für Indikatorquelle „Incidents.Open“ erfasst
    Rufen Sie die folgenden Felder ab:
    • Die eindeutigen Felder der Aufgliederungsquellen (normalerweise sys_id)
    • Indikatorfelder, die in Aufgliederungszuordnungen verwendet werden
    • Die in geskripteten Aufgliederungszuordnungen verwendeten Tabellenfelder
    • Die Indikatorquellfelder, die in Textanalysen verwendet werden, wenn das Textverzeichnis erfasst wird (normalerweise enthält short_description)
    „short_description,sys_id, opened_at, assignment_group, description, priority, category" wird von "incident“ abgerufen
    Generieren von SQL basierend auf den Bedingungen, die in der Indikatorquelle angegeben sind.
    Hinweis:
    Wenn die Indikatorquelle „Heute“ in einer der Bedingungen angibt, wird „Heute“ relativ zu dem Zeitraum betrachtet, für den die Datenerfassungsaufgabe ausgeführt wird. Beispielsweise enthält die Indikatorquelle Incidents.New die Bedingung [Geöffnet][am][Heute]. Wenn die Tage so definiert sind, dass sie um 07:00:00 beginnen, und Daten für 2019-10-28 gesammelt werden, erzeugt der Auftrag das SQL-Skript auf der rechten Seite.
    SELECT task0.`sys_id` FROM task task0 WHERE task0.`sys_class_name` = 'incident' AND (task0.`opened_at` >= '2019-10-28 07:00:00' AND task0.`opened_at` <= '2019-10-29 06:59:59')
    Zeigen Sie die Anzahl der von SQL abgerufenen Datensätze an. 150 Zeilen aus Indikatorquelle Incidents.Open abgerufen (Faktentabelle: Incident)
    Zuordnungs-/Reduzierungsfunktion ausführen, um Indikatorpunktzahlen zu berechnen. Siehe Tabellen Schritte der Zuordnungs-/Reduzierungsfunktion
    Wenn die Textindizierung aktiv ist und für die Indikatorquelle konfiguriert wurde, speichert der Datensammler den resultierenden Textindex. Textindex für Indikatorquelle Incidents.Open wird gespeichert
    Von Textindex verwendete Bytes: 41,984 für: Incidents.Open
    Beginnen Sie mit dem Speichern neu erfasster Ergebnisse für die Indikatorquelle. Zu speichernde Punktzahlen: 374.842 (mit Ausnahme der verzögert ausgewerteten Anzahl eindeutiger Punktzahlen der Ebene 2 für Indikatoren – ID – Alle Incidents mit allen 3 Aufgliederungen)
    Jeder Indikator mit einem NULL-Wert wird protokolliert. „Wert, wenn null“ gespeichert: 0,0 als Punktzahl für Indikator: Anzahl der durch Wissen vermiedenen Incidents
    Speichern der Ergebnisse beenden. Gespeicherte Punktzahlen: 1.125.057
    Gespeicherte gesammelte Ergebnisse
    Festlegen für welche Indikatoren der Datensammler keine Punktzahlen sammelt. Nicht sammeln für Indikator: Summe des Alters der offenen Incidents mit ausgeschlossener Aufgliederung: Zuweisungsgruppe
    Beenden der Datensammlung für diese Indikatorquelle für diesen Zeitraum. Sammlung für 20200519 für Indikatorquellen-Incidents.Offen abgeschlossen
    Zeigen Sie die durchschnittliche Zeit an, die für einen Datensatz aufgewendet wurde, um zusätzliche Bedingungen zu verarbeiten, die für Indikatoren festgelegt wurden. Durchschnittliche Zeit für die Verarbeitung der zusätzlichen Indikatorbedingung für jeden Datensatz: 138 ms

    Schritte der Zuordnungs-/Reduzierungsfunktion

    Schritt des Sammlungsauftrags Beispiel für den resultierenden Protokolleintrag
    Die Zuordnungs-/Reduzierungsfunktion wird ausgeführt. Zuordnungs-/Reduzierungsfunktion wird für Indikatorquelle Incidents.Open angewendet ...
    Warnung, wenn die Textindizierung für den Auftrag aktiv ist, aber aufgrund einer fehlenden oder ungültigen Textindexkonfiguration nicht ausgeführt werden kann. Textindexsammlung wird übersprungen, da eine Textindexkonfiguration fehl oder ungültig ist
    Löschen früherer Punktzahlen für die Indikatoren und Aufgliederungen, die die Indikatorquelle verwenden. Vorherige Ergebnisse für die Indikatorquelle Incidents.Open werden gelöscht ...
    Vorherige Ergebnisse 38 für Indikator gelöscht: Externe Anmeldungen
    Vorherige Ergebnisse 21 für Indikator gelöscht: Fehlgeschlagene Anmeldungen
    Verarbeiten Sie jeden Datensatz in der Indikatorquelle, um Punktzahlen zu berechnen. Protokollnachrichten verfolgen die laufende Summe der verarbeiteten Datensätze und die Speichernutzung nach. Die Verarbeitung für jeden Datensatz umfasst:
    • Führen Sie alle Skripts aus, oder bewerten Sie sie.
    • Indikatorbedingungen validieren
    • Indikatorwert berechnen
    • Für jede Aufgliederung:
      1. Berechnen der Aufgliederungs-Punktzahl oder Ausführen des Aufgliederungs-Skripts.
      2. Ermitteln aller eindeutigen Aufgliederungswerte.
      3. Erstellen oder aktualisieren des Array für Punktzahlen oder Snapshots. Das Array ist: Indikator, Aufgliederung 1, Artefakt 1, Aufgliederung 2, Artefakt 2, Domäne, Wert, Array von [sys_id]
    18 %% (1) Datensätze verarbeitet, Ergebnisobjektgröße: 5 MB
    42 % (2) Datensätze verarbeitet, Ergebnisobjektgröße: 9 MB
    76 % (3) Datensätze verarbeitet, Ergebnisobjektgröße: 14 MB
    100 % (4) Datensätze verarbeitet, Ergebnisobjektgröße: 20 MB
    Die Zuordnungs-/Reduzierungsfunktion wird abgeschlossen. Angewendete Zuordnungs-/Reduzierungsfunktion