Kafka サブスクリプションと統計情報の表示

  • リリースバージョン: Yokohama
  • 更新日 2025年01月30日
  • 所要時間：6分

    • トピックに追加したレコード数、処理したレコード数、残りの処理レコード数など、Kafka コンシューマーとそのパフォーマンスに関する詳細情報を表示します。

    サブスクリプションは、コンシューマーに関連付けられたレコードです。コンシューマーに関する構成とパフォーマンスの詳細を保存します。サブスクリプションは、Kafka ストリームがアクティブ化されると作成されます。

    各サブスクリプションページには、以下のセクションが含まれています。
    • Kafka サブスクリプション
    • メトリクス
    • Kafka サブスクリプションパーティショングループ
    • コンシューマーログ
    • Kafka コンシューマー統計情報

    サブスクリプションレコードを表示するには、次に移動します: 統合ハブ > ストリームコネクト > サブスクリプション. 表示するサブスクリプションの情報アイコン (情報アイコン) を選択し、[レコードを開く] を選択します。

    図 : 1. Kafka コンシューマーのサンプルサブスクリプションページ
    サブスクリプションの詳細、メトリクス、パーティショングループの情報、コンシューマーログ、コンシューマー統計情報を含む Kafka サブスクリプションページ。

    Kafka サブスクリプション

    Kafka サブスクリプションセクションには、コンシューマーとサブスクリプションの構成の詳細が表示されます。
    フィールド 説明
    番号 サブスクリプションレコードの番号。
    状況 コンシューマーのステータス。オプションは次のとおりです。
    • アクティブ
    • 更新しています
    • 停止中
    トピック コンシューマーがメッセージを処理しているトピック。
    コンシューマー ID コンシューマーの一意の識別子。
    Kafka 自動位置ポリシー (Kafka Auto Position Policy) コンシューマーがトピックからメッセージの読み取りを開始する場所を指定します。オプションは次のとおりです。
    • 最短：コンシューマーは、トピック内で利用可能な最も古いメッセージから読み取りを開始します。
    • 最新：コンシューマーは、コンシューマーの開始後にトピックに配信されたメッセージのみを読み取ります。
    エラーあり サブスクリプションにエラーがあるかどうかを示します。
    最大同時実行 メッセージの消費に使用される並列プロセッサーの最大数とパーティショングループの数。
    パーティショングループタイムアウト サブスクリプションの各パーティショングループに割り当てられる最大時間 (ミリ秒) です。
    Kafka パーティション (Kafka partitions) トピック内のパーティションの数。
    最大バッチサイズ 実行ごとに処理されるメッセージの最大数。オプションは次のとおりです。
    • 自動的に最適化 (automatically optimized)：システムがメッセージの数を選択します。
    • 数 (a number)：ユーザーが手動で選択した数。

    メトリクス

    各メトリクスは、過去 5 分間、過去 1 時間、過去 24 時間の 3 つの時間間隔で測定されます。
    • トピック入力率：トピックに追加された 1 秒あたりの平均レコード数。
    • コンシューマー処理率：1 秒あたりの平均処理レコード数。
    • トピックキューの深さ：トピック内の、処理が必要な残りの平均レコード数。

    Kafka サブスクリプションパーティショングループ

    [Kafka サブスクリプションパーティショングループ (Kafka subscription partition groups)] タブには、次の詳細が表示されます。
    フィールド 説明
    番号 パーティショングループの番号。
    このパーティショングループの所有者 (Owner of this partition group) パーティショングループの所有ステータス。オプションは次のとおりです。
    • なし：パーティショングループは Kafka コンシューマージョブで所有されていません。取得と処理が可能です。
    • 処理中：パーティショングループは Kafka コンシューマージョブで所有され、メッセージを処理しています。
    • ロック中：パーティショングループは Kafka コンシューマージョブで所有されておらず、取得できません。

    Kafka コンシューマージョブはアクティブ化されると、[なし] の所有者で初期に更新されたレコードを確認し、選択します。

    次に、コンシューマージョブは所有者を [処理中] に変更し、10 秒間処理します。

    処理が完了すると、ステータスが [なし] に戻るため、後で再度取得して処理できます。

    コンシューマージョブがすべてのメッセージを処理する場合、所有者は 10 秒間 [ロック中] に設定され、その後再び [なし] に設定されます。
    更新日時 パーティショングループが最後に更新された日時。
    所有権の失効タイミング (When is the ownership lost) 所有権が失われる日時。
    最初のパーティション (First partition) パーティショングループの最初のパーティションの番号。
    最後のパーティション (包含) (Last partition (inclusive)) パーティショングループの最後のパーティションの番号。
    入力率 (Input rate)

    過去 5 分間、過去 1 時間、過去 24 時間。

    		 パーティショングループに追加された 1 秒あたりの平均レコード数。
    コンシューマー処理 (Consumer processing)

    過去 5 分間、過去 1 時間、過去 24 時間。

    		 パーティショングループから消費された 1 秒あたりの平均メッセージ数。
    キュー深度 (Queue depth)

    過去 5 分間、過去 1 時間、過去 24 時間。

    		 パーティショングループ内の、処理が必要な残りの平均レコード数。

    コンシューマーログ

    [コンシューマーログ (Consumer Logs)] タブには、関連するコンシューマーのログエントリーが表示されます。各エントリが作成された日時、そのログレベル、メッセージ、およびソースが表示されます。コンシューマーログは、コンシューマーログ [sys_consumer_log] テーブルに格納されます。

    glide.ih.kafka.debug.consume プロパティを有効にすると、コンシューマーログに追加されるログメッセージ数を増やすことができます。

    Kafka コンシューマー統計情報

    [Kafka コンシューマー統計情報 (Kafka Consumer Statistics)] タブには、以下の詳細が表示されます。
    フィールド 説明
    作成済み コンシューマー統計情報レコードが作成された日時。
    間隔 コンシューマー統計情報レコードの期間 (秒単位)。

    間隔の長さは glide.ih.kafka.consumer.log_interval プロパティで変更できます。デフォルト値は 60 秒です。

    glide.ih.kafka.consumer.log_empty_stats プロパティを使用して、指定の期間中に Kafka メッセージが生成または消費されない場合に、メッセージをコンシューマーログに記録するかどうかを指定できます。デフォルト値は true です。
    生成されたメッセージ (Produced messages) 指定の期間中にトピックに対して生成されたメッセージの数。
    消費済みメッセージ (Consumed messages) 指定の期間中にコンシューマーで処理されたメッセージの数。
    消費済みバイト (Consumed bytes) 指定の期間中コンシューマーで処理されたバイト数。
    オフセット (OffSet) パーティショングループのすべてのオフセットの合計。
    遅延メッセージ (Lag messages) 終了オフセットと現在のオフセットの差。
    終了オフセット パーティショングループのすべての終了オフセットの合計。
    パーティショングループ (Partition group) パーティショングループのレコード。