Kafka ストリームの作成

  • リリースバージョン: Zurich
  • 更新日 2025年07月31日
  • 所要時間：4分

    • 抽出変換ロード (ETL)、変換マップ、スクリプトコンシューマーのデータストリームを定義します。Kafka ストリームは、コンシューマーへのデータのストリームを定義します。

    始める前に

    このタスクについて

    ETL、変換マップ、またはスクリプトコンシューマーを使用するには、Kafka ストリームを作成する必要があります。コンシューマーを設定し、ストリームを作成してアクティブ化すると、Kafka 環境からメッセージの受信を開始できます。

    手順

    1. ETL、変換マップ、またはスクリプトコンシューマーのレコードを開きます。
      コンシューマーレコードを検索するには、次の場所に移動します: すべて > 統合ハブ > コンシューマー をクリックし、[ ETL コンシューマー (ETL Consumer)]、[ 変換マップコンシューマー (Transform Map Consumer)]、または [スクリプトコンシューマー (Script Consumer)] を選択します。
    2. [Kafka ストリーム] セクションを探して、[新規] を選択します。
    3. フォームのフィールドに入力します。
      表 : 1. Kafka ストリーム
      フィールド 説明
      名前 Kafka ストリームの名前。
      トピック メッセージを監視するトピックの名前。
      最大同時実行

      メッセージを消費するために使用する並列プロセッサーの最大数と作成するパーティショングループの数。

      デフォルト値：1
      相対的重み付け

      各サイクルについて、他のコンシューマーと比較して、メッセージを処理するためにコンシューマーに割り当てられた最大時間。たとえば、相対的な重み付けが別のコンシューマーの 2 倍であるコンシューマーは、2 倍の時間を取得します。相対的な重み付けが同じコンシューマーは、同じ時間になります。

      最小値は 5、最大値は 2000 です。デフォルト値は、最大同時実行数に glide.ih.kafka.consumer.max_seconds_per_partition_group プロパティの値を掛けた値です。glide.ih.kafka.consumer.max_seconds_per_partition_group プロパティは、各パーティショングループに割り当てられる最大時間 (秒) を指定します。デフォルト値は 10 です。

      相対重み付けを使用して、サブスクリプションのパーティショングループタイムアウトが計算されます。パーティショングループタイムアウトは、特定のサブスクリプションの各パーティショングループに割り当てられる最大時間 (ミリ秒) を指定します。

      このフィールドは、[詳細] が選択されている場合にのみ表示されます。
      消費を開始 トピックからメッセージの消費を開始する場所を指定するオプション。次のいずれかを選択します。
      • 最初の有効化後に受信したメッセージ (Messages received after the first activation)：ストリームがアクティブ化された後に受信したメッセージのみを消費します。
      • トピックに保存されているすべてのメッセージ (All the messages stored in the topic)：ストリームがアクティブ化される前に受信したメッセージを含む、トピック内のすべてのメッセージを消費します。
      メッセージ処理 実行ごとに処理されるメッセージの数を指定するか、システムがメッセージの数を決定するオプション。次のいずれかを選択します。
      • [自動的に最適化 (Automatically optimize)]：システムが 1 回の実行で処理するメッセージの数を指定します。
      • [手動で上書き (Manually override)]：実行ごとに処理するメッセージの数を指定します。
      このフィールドは、[詳細] が選択されている場合にのみ表示されます。
      最大メッセージ数

      実行ごとに処理するメッセージの最大数。

      このフィールドは、[メッセージ処理 (Message handling)] から [手動上書き] を選択した場合にのみ表示されます。
      実行方法 指定したユーザーの認証情報を使用してコンシューマーを実行するオプション
      コンシューマー データのストリーミング先のコンシューマーの名前。このフィールドは、ストリームの追加を開始したコンシューマーの名前に自動的に設定されます。
      有効 ストリームを有効にするオプション。
      詳細 詳細フィールド [相対的重み付け (Relative weight)] と [メッセージ処理 (Message handling)] を表示するオプションです。
    4. [関連リンク] で、[有効化 (Activate)] を選択します。
      ストリームがアクティブ化されると、関連付けられたコンシューマーの Kafka サブスクリプションが自動的に作成されます。
    5. [送信] を選択します。

    タスクの結果

    ストリームを有効にすると、コンシューマーは指定されたトピックで処理するメッセージの検索を開始します。サブスクリプションページにアクセスすると、コンシューマーとそのパフォーマンスに関する詳細情報を表示できます。詳細については、「Kafka サブスクリプションと統計情報の表示」を参照してください。