dbt クラウドメタデータコレクターの作成
dbt Cloud からメタデータをインポートするコレクターを作成します。
始める前に
開始する前に、以下を確認してください。
- コレクター用の MID サーバーがセットアップされます。詳細については、「メタデータコレクター用の MID サーバー」を参照してください。
- 要件ごとのタスクがすべて完了しました。詳細については、「dbt クラウドコレクターの実行を準備する」を参照してください。
- 必要なロール:connection-admin
手順
- 移動先 すべて > ワークフローデータファブリック > Workflow Data Fabric ホーム.
-
左側のサイドバーで [コネクトハブ]
を選択します。
- 選択 作成 > メタデータコレクター.
- [システム] リストから、[ dbt Cloud] を選択します。
-
フォームで、フィールドに入力します。
表 : 1. 新しい dbt クラウドメタデータコレクターフォーム フィールド 説明 接続名 接続の一意の識別子。接続が確立されると、このフィールドは変更できません。 簡単な説明 接続の目的と詳細。 -
dbt クラウド構成の詳細を入力します。
表 : 2. 構成詳細 フィールド 説明 dbt クラウド API キー 指定されたアカウントにアクセスするための権限を持つ dbt クラウド発行の API キー。 dbt クラウドホスト dbt クラウド上の組織のアカウントのホスト。指定しない場合、デフォルトのホストは cloud.getdbt.com と見なされます。 DBT クラウドアカウント ID dbt メタデータアーティファクトの収集元となるプロジェクトを所有する dbt クラウドアカウント。 dbt クラウドプロジェクト dbt メタデータアーティファクトの収集元となるプロジェクトの名前または数値識別子。 DBT クラウド実行 ID 収集するアーティファクトを生成した実行の数値識別子。指定しない場合、プロジェクト内でアーティファクトを生成した最新の成功した実行が収集されます。 dbt クラウド環境 dbt メタデータアーティファクトの収集元となるジョブ実行をフィルタリングするために使用される dbt クラウド環境 (ID または名前)。 dbt クラウドジョブ dbt メタデータアーティファクトの収集元となるジョブ実行をフィルタリングするために使用される dbt クラウドジョブ (ID または名前)。 -
ターゲットデータベースの詳細を入力します。
注:ビューで指定された列間の Snowflake リネージ関係を収集するには、 ターゲットデータベース を Snowflake オーバーライド に設定する必要があります。
表 : 3. ターゲットデータベースの詳細 フィールド 説明 ターゲットデータベース dbt クラウドのプロジェクトで構成されたデータベース接続情報を上書きするオプション - ターゲットデータベースの上書きなし:コレクタはデータウェアハウスへの接続をスキップし、dbt 資産のみを収集できます。ビューに使用できるリネージがありません
- Snowflake overrides: ビューで指定された列間の Snowflake リネージ関係を収集する場合に選択します
認証 (Snowflake 上書き) 認証 Snowflake の上書きが選択されている場合に使用する認証方法 - Snowflake 認証の上書きはありません
- Snowflake のユーザー名とパスワードの上書き
- Snowflake 秘密鍵ファイルの上書き
注:Snowflake オーバーライドを選択し、認証の詳細を指定しない場合、コレクターは識別された dbt Cloud 実行から接続情報 (Snowflake アカウント、ロール、およびウェアハウス) を取得します。Snowflake のユーザー名とパスワードの上書き データベースユーザー名 ターゲットデータベースへの接続に使用するユーザー認証情報 データベースパスワード ターゲットデータベースへの接続に使用するパスワード認証情報 Snowflake 秘密鍵ファイルの上書き データベースユーザー名 ターゲットデータベースへの接続に使用するユーザー名 Snowflake キーファイルパス Snowflake での認証に使用する秘密鍵ファイル (rsa_key.p8 など)。dbt プロファイルを上書きするには、このオプションを使用します Snowflake キーファイルパスワード キーが暗号化されていてパスワードが設定されている場合の秘密キーファイルのパスワード。dbt プロファイルまたはクラウド構成を上書きするには、このオプションを使用します その他のオプション設定 Snowflake アプリケーション ターゲット Snowflake データベースへの接続に使用するアプリケーション接続パラメーター。dbt プロファイルまたはクラウド構成を上書きするには、このオプションを使用します デフォルト:datadotworld
Snowflake アカウント Snowflake アカウントまたはテナント Snowflake ロール ターゲット Snowflake データベースへの接続に使用するロール。dbt プロファイルまたはクラウド構成を上書きするには、このオプションを使用します。このフィールドでは大文字と小文字が区別されません Snowflake ウェアハウス ターゲット Snowflake データベースへの接続に使用するウェアハウス。dbt プロファイルまたはクラウド構成を上書きするには、このオプションを使用します。このフィールドでは大文字と小文字が区別されません -
詳細オプションを入力します。
表 : 4. 詳細オプション フィールド 説明 最大再試行回数 失敗した API 呼び出しを再試行する回数。 デフォルト:5
再試行の遅延 API 呼び出しの試行失敗を待機する秒数。 デフォルト:2 秒
API HTTP ヘッダー コレクターによって行われる API 呼び出しに HTTP ヘッダーとして含まれる名前と値のペア。複数のヘッダーを指定するには、1 行に 1 つの値を追加します。 JDBC ドライバーのプロパティ ドライバー接続に渡す JDBC ドライバープロパティ。1 行に 1 つの値を追加して、複数の JDBC ドライバープロパティを指定します。 NTLM 認証を使用している場合は、次の 2 つの JDBC プロパティを設定する必要があります。
- integratedSecurity=true
- authenticationScheme=NTLM
- [Save (保存)] を選択します。
タスクの結果
メタデータコレクターが作成され、[コネクタ] ページに [構成済み] ステータスで表示されます。これで、ソースシステムに接続してメタデータを収集する準備ができました。
次のタスク
コレクターを作成した後、次のいずれかのタスクを実行できます。
- コレクターを手動で実行して、メタデータをすぐに収集します。「メタデータコレクターを手動で実行する」を参照してください。
- 定期的なコレクターの実行をスケジュールすることで、メタデータ収集を自動化します。「メタデータコレクターの実行をスケジュール」を参照してください。
- ランタイムログを表示して、実行ステータスを監視し、問題のトラブルシューティングを行います。「コレクター実行のランタイムログの表示」を参照してください。
- データカタログで収集されたデータ資産を検出して評価します。「データカタログの管理」を参照してください。