Kafka-Abonnements und -Statistiken anzeigen

  • Freigeben Version: Yokohama
  • Aktualisiert 30. Januar 2025
  • 3 Minuten Lesedauer

    • Zeigen Sie detaillierte Informationen zu einem Kafka-Verbraucher und seiner Leistung an, einschließlich der Anzahl der dem Thema hinzugefügten Datensätze, der Anzahl der verarbeiteten Datensätze und der Anzahl der verbleibenden zu verarbeitenden Datensätze.

    Ein Abonnement ist ein Datensatz, der einem Verbraucher zugeordnet ist. Sie speichert Konfigurations- und Leistungsdetails des Verbrauchers. Ein Abonnement wird erstellt, wenn ein Kafka-Stream aktiviert wird.

    Jede Abonnementseite enthält die folgenden Abschnitte.
    • Kafka-Abonnement
    • Metriken
    • Partitionsgruppen für Kafka-Abonnements
    • Verbraucherprotokolle
    • Kafka-Verbraucherstatistiken

    Um einen Abonnementdatensatz anzuzeigen, navigieren Sie zu IntegrationHub > Stream Connect > Abonnements. Wählen Sie das Infosymbol ( Infosymbol) für das Abonnement aus, das Sie anzeigen möchten, und wählen Sie dann Datensatz öffnenaus.

    Abbildung : 1. Beispielabonnementseite für einen Kafka-Verbraucher
    Die Kafka-Abonnementseite mit Abonnementdetails, Metriken und Informationen zu Partitionsgruppen, Verbraucherprotokollen und Verbraucherstatistiken.

    Kafka-Abonnement

    Im Abschnitt „Kafka-Abonnement“ werden Konfigurationsdetails für den Verbraucher und das Abonnement angezeigt.
    Feld Beschreibung
    Nummer Nummer des Abonnementdatensatzes.
    Status Status des Verbrauchers Die Optionen sind:
    • AKTIV
    • WIRD AKTUALISIERT
    • WIRD GESTOPPT
    Thema Thema, aus dem der Verbraucher Nachrichten verarbeitet.
    Verbraucher-ID Eindeutiger Bezeichner für den Verbraucher
    Kafka-Richtlinie für automatische Position Gibt an, wo der Verbraucher mit dem Lesen von Nachrichten aus dem Thema beginnt. Die Optionen sind:
    • frühesten: Der Verbraucher beginnt mit dem Lesen ab der frühesten verfügbaren Nachricht im Thema.
    • current: Der Verbraucher liest nur die Nachrichten, die an das Thema übermittelt wurden, nachdem er gestartet wurde.
    Fehler ausgelöst Gibt an, ob das Abonnement Fehler aufweist.
    Max. Gleichzeitigkeit Maximale Anzahl paralleler Prozessoren, die zum Verarbeiten von Nachrichten verwendet werden, und Anzahl der Partitionsgruppen.
    Partitionsgruppen-Timeout Maximale Zeit, in Millisekunden, die jeder Partitionsgruppe im Abonnement zugewiesen ist.
    Kafka-Partitionen Anzahl der Partitionen im Thema.
    Max. Batchgröße Maximale Anzahl der pro Ausführung verarbeiteten Nachrichten. Die Optionen sind:
    • automatisch optimiert: Das System wählt die Anzahl der Nachrichten.
    • Nummer: Der Benutzer hat manuell eine Nummer ausgewählt.

    Metriken

    Jede Metrik wird über drei Zeitintervalle gemessen: die letzten fünf Minuten, die vorherige Stunde und die letzten 24 Stunden.
    • Themeneingaberate: Die durchschnittliche Anzahl der Datensätze, die dem Thema pro Sekunde hinzugefügt werden.
    • Verbraucherverarbeitungsrate: Die durchschnittliche Anzahl der pro Sekunde verarbeiteten Datensätze.
    • Themenwarteschlangentiefe: Die durchschnittliche Anzahl der Datensätze, die im Thema noch zu verarbeiten sind.

    Partitionsgruppen für Kafka-Abonnements

    Auf der Registerkarte Kafka-Abonnementpartitionsgruppen werden die folgenden Details angezeigt.
    Feld Beschreibung
    Nummer Nummer für die Partitionsgruppe.
    Besitzer dieser Partitionsgruppe Besitzstatus der Partitionsgruppe. Die Optionen sind:
    • NONE: Die Partitionsgruppe gehört keinen Kafka-Verbraucheraufträgen. Es ist zum Abholen und Verarbeiten verfügbar.
    • VERARBEITUNG: Die Partitionsgruppe gehört einem Kafka-Verbraucherauftrag und verarbeitet Nachrichten.
    • GESPERRT: Die Partitionsgruppe gehört keinem Kafka-Verbraucherauftrag und kann nicht abgerufen werden.

    Wenn ein Kafka-Verbraucherauftrag aktiviert wird, sucht er nach dem frühesten aktualisierten Datensatz mit dem Besitzer KEINE und wählt einen aus.

    Dann ändert der Verbraucherauftrag den Besitzer in PROCESSING (Verarbeitung) und verarbeitet ihn 10 Sekunden lang.

    Wenn die Verarbeitung abgeschlossen ist, wird der Status zurück in KEINE geändert, damit er später aufgenommen und erneut verarbeitet werden kann.

    Wenn der Verbraucherauftrag alle Nachrichten verarbeitet, wird der Besitzer für 10 Sekunden auf GESPERRT gesetzt und anschließend wieder auf KEINE gesetzt.
    Aktualisiert Datum und Uhrzeit der letzten Aktualisierung der Partitionsgruppe.
    Wann der Besitz verlorengeht Datum und Uhrzeit des Eigentumsverlusts.
    Erste Partition Nummer der ersten Partition für die Partitionsgruppe.
    Letzte Partition (inklusive) Nummer der letzten Partition für die Partitionsgruppe.
    Eingaberate

    Angegeben für die letzten fünf Minuten, die letzte Stunde und die letzten 24 Stunden.

    		 Durchschnittliche Anzahl der Datensätze, die der Partitionsgruppe pro Sekunde hinzugefügt werden.
    Verbraucherverarbeitung

    Angegeben für die letzten fünf Minuten, die letzte Stunde und die letzten 24 Stunden.

    		 Durchschnittliche Anzahl der pro Sekunde von der Partitionsgruppe verbrauchten Nachrichten.
    Tiefe der Warteschlange

    Angegeben für die letzten fünf Minuten, die letzte Stunde und die letzten 24 Stunden.

    		 Durchschnittliche Anzahl der in der Partitionsgruppe noch zu verarbeitenden Datensätze.

    Verbraucherprotokolle

    Auf der Registerkarte Verbraucherprotokolle werden die Protokolleinträge für den zugehörigen Verbraucher angezeigt. Es zeigt an, wann jeder Eintrag erstellt wurde, seine Protokollebene, die Nachricht und die Quelle. Verbraucherprotokolle werden in der Tabelle „Verbraucherprotokolle“ [sys_consumer_log] gespeichert.

    Sie können die Anzahl der Protokollnachrichten erhöhen, die den Verbraucherprotokollen hinzugefügt werden, indem Sie die Eigenschaft glide.ih.kafka.debug.consume aktivieren.

    Kafka-Verbraucherstatistiken

    Auf der Registerkarte „Kafka-Verbraucherstatistiken“ werden die folgenden Details angezeigt.
    Feld Beschreibung
    Erstellt Datum und Uhrzeit der Erstellung des Verbraucherstatistikdatensatzes.
    Intervall Dauer für den Verbraucherstatistikdatensatz in Sekunden.

    Mit der Eigenschaft glide.ih.kafka.consumer.log_interval können Sie die Länge des Intervalls ändern. Der Standardwert beträgt 60 Sekunden.

    Mit der Eigenschaft glide.ih.kafka.consumer.log_empty_stats können Sie angeben, ob Nachrichten im Verbraucherprotokoll protokolliert werden sollen, wenn während des Intervalls keine erzeugten oder konsumierten Kafka-Nachrichten erzeugt oder konsumiert werden. Der Standardwert ist „true“.
    Erzeugte Nachrichten Anzahl der Nachrichten, die während der Intervallzeit für das Thema erzeugt wurden.
    Verbrauchte Nachrichten Anzahl der vom Verbraucher während der Intervallzeit verarbeiteten Nachrichten.
    Verbrauchte Byte Anzahl der vom Verbraucher während der Intervallzeit verarbeiteten Bytes.
    Offset Summe aller Offsets für die Partitionsgruppe.
    Verzögerungsnachrichten Differenz zwischen dem End-Offset und dem aktuellen Offset.
    Ende-Offset Summe aller End-Offsets für die Partitionsgruppe.
    Partitionsgruppe Datensatz für die Partitionsgruppe.