抽出変換ロード (ETL) コンシューマーの構成

  • リリースバージョン: Xanadu
  • 更新日 2024年08月01日
  • 所要時間：3分

    • Kafka 環境からデータをインポートし、既存の強力な変換エンジン (RTE) 構成を使用してそのデータを処理します。

    始める前に

    このタスクについて

    コンシューマーを設定するには、2 つのレコードを作成する必要があります。
    1. データのインポート方法と処理方法を指定するコンシューマーレコード。
    2. コンシューマーへのデータストリームを定義する Kafka ストリームのレコード。
    このタスクでは、コンシューマーの作成について説明します。Kafka ストリームの作成方法については、「Kafka ストリームの作成」を参照してください。

    手順

    1. 移動先 すべて > 統合ハブ > コンシューマー > ETL コンシューマー.
    2. [新規] を選択します。
    3. フォームのフィールドに入力します。
      表 : 1. Kafka ETL コンシューマー
      フィールド 説明
      名前 ETL コンシューマーの名前。
      強力なインポートセットトランスフォーマー データの処理に使用する強力なインポートセットトランスフォーマーの名前。
      配送保証 ノード障害が発生した場合に、受信メッセージの配信保証を指定するオプション。次のいずれかを選択します。
      • 紛失なし、重複なし：すべてのメッセージが少なくとも 1 回配信されます。一部のメッセージは複数回配信される可能性があります。
      • 一度、またはまったくない：メッセージは複数回配信されません。一部のメッセージがまったく配信されない可能性があります。
      シリアル化形式 メッセージのシリアル化形式。次のいずれかを選択します。
      • プレーンテキスト：プレーンテキストメッセージの場合は、このオプションを選択します。これがデフォルトの形式です。
      • エンコード済み：Apache Avro 形式のメッセージには、このオプションを選択します。プレーンテキストメッセージを Avro 形式に変換するには、スキーマが必要です。[スキーマレジストリ] フィールドでスキーマレジストリを選択します。スキーマの詳細については、「ストリームコネクトのスキーマ管理」を参照してください。
      単一列のデータ 単一列にインポートセットテーブルを格納させるオプション。
      列マッピング メッセージの JSON キーがデータをインポートセットテーブルの列の名前またはラベルにマッピングするかどうかを指定するオプション。次のいずれかを選択します。
      • ラベル
      • 列名
      このフィールドは、[単一列のデータ] チェックボックスがオフの場合にのみ表示されます。
      アプリケーション ETL コンシューマーのアプリケーションスコープ。
      スキーマレジストリ
      選択したスキーマのレジストリ。次のいずれかを選択します。
      • スタンドアロンのスキーマレジストリ
      • Confluent Schema Registry

      このフィールドは、[シリアル化形式] が [エンコード済み] に設定されている場合にのみ表示されます。

      Confluent Schema Registry では、受信したメッセージのスキーマ ID がスキーマテーブルにない場合、構成された REST 接続を使用してスキーマが動的にインポートされます。
    4. [Save (保存)] をクリックします。

    次のタスク

    このコンシューマーの Kafka ストリームの作成。ストリームがアクティブ化されると、Kafka 環境からのメッセージの受信を開始できます。