dbt 클라우드 메타데이터 수집기 생성
dbt 클라우드에서 메타데이터를 임포트할 수집기를 생성합니다.
시작하기 전에
시작하기 전에 다음을 확인하십시오.
- 수집기용 MID 서버가 설정됩니다. 자세한 내용은 메타데이터 수집기용 MID 서버 문서를 참조하십시오.
- 모든 필수 작업이 완료되었습니다. 자세한 내용은 dbt 클라우드 수집기 실행 준비 문서를 참조하십시오.
- 필요한 역할: connection-admin
프로시저
- 다음으로 이동 모두 > 워크플로우 데이터 패브릭 > 워크플로우 데이터 패브릭 홈.
-
왼쪽 사이드바에서 허브
아이콘을 선택합니다.
- 선택 작성 > 메타데이터 수집기.
- 시스템 목록에서 dbt 클라우드를 선택합니다.
-
양식에서 필드를 채웁니다.
표 1. 새 dbt 클라우드 메타데이터 수집기 양식 필드 설명 연결 이름 연결에 대한 고유 식별자입니다. 연결이 설정되면 이 필드를 수정할 수 없습니다. 간단한 설명 연결의 목적 및 상세 정보입니다. -
dbt 클라우드 구성 상세 정보를 입력합니다.
표 2. 구성 상세 정보 필드 설명 dbt 클라우드 API 키 지정된 계정에 액세스할 수 있는 권한이 있는 dbt 클라우드에서 발급한 API 키입니다. dbt 클라우드 호스트 dbt 클라우드에 있는 조직 계정의 호스트입니다. 지정하지 않으면 기본 호스트가 cloud.getdbt.com 로 간주됩니다. DBT 클라우드 계정 ID dbt 메타데이터 아티팩트를 수집할 프로젝트를 소유한 dbt 클라우드 계정입니다. dbt 클라우드 프로젝트 dbt 메타데이터 아티팩트를 수집할 프로젝트의 이름 또는 숫자 식별자입니다. dbt 클라우드 실행 ID 수집할 아티팩트를 생성한 실행의 숫자 식별자입니다. 지정하지 않으면 프로젝트 내에서 아티팩트를 생성한 가장 최근에 성공한 실행이 수집됩니다. dbt 클라우드 환경 dbt 메타데이터 아티팩트를 수집할 작업 실행을 필터링하는 데 사용되는 dbt 클라우드 환경(ID 또는 이름)입니다. dbt 클라우드 작업 dbt 메타데이터 아티팩트를 수집할 작업 실행을 필터링하는 데 사용되는 dbt 클라우드 작업(ID 또는 이름)입니다. -
대상 데이터베이스 상세 정보를 입력합니다.
주:뷰를 통해 지정된 열 간의 Snowflake 계보 관계를 수집하려면 대상 데이터베이스 를 Snowflake 재정의 로 설정해야 합니다.
표 3. 대상 데이터베이스 상세 정보 필드 설명 대상 데이터베이스 dbt 클라우드의 프로젝트에 구성된 데이터베이스 연결 정보를 재정의하는 옵션 - 대상 데이터베이스 재정의 없음: 수집기가 데이터 웨어하우스에 대한 연결을 건너뛰고 dbt 자산만 수집할 수 있습니다. 뷰에 사용할 수 있는 계보 없음
- Snowflake 재정의: 뷰를 통해 지정된 열 간의 Snowflake 계보 관계를 수집하려면 선택합니다.
인증(Snowflake 재정의) 인증 Snowflake 재정의가 선택된 경우 사용할 인증 방법 - Snowflake 인증 재정의 없음
- Snowflake 사용자 이름 및 암호 재정의
- Snowflake 개인 키 파일 재정의
주:Snowflake 재정의를 선택하고 인증 세부 정보를 제공하지 않으면 수집기는 식별된 dbt 클라우드 실행에서 연결 정보(Snowflake 계정, 역할 및 웨어하우스)를 가져옵니다.Snowflake 사용자 이름 및 암호 재정의 데이터베이스 사용자 이름 대상 데이터베이스에 연결하는 데 사용할 사용자 자격 증명 데이터베이스 암호 대상 데이터베이스에 연결하는 데 사용할 암호 자격 증명 Snowflake 개인 키 파일 재정의 데이터베이스 사용자 이름 대상 데이터베이스에 연결하는 데 사용할 사용자 이름 Snowflake 키 파일 경로 Snowflake로 인증하는 데 사용할 개인 키 파일입니다(예: rsa_key.p8). dbt 프로파일을 재정의하려면 이 옵션을 사용합니다. Snowflake 키 파일 암호 키가 암호화되고 암호가 설정된 경우 개인 키 파일의 암호입니다. 이 옵션을 사용하여 dbt 프로파일 또는 클라우드 구성을 재정의합니다. 기타 선택적 설정 Snowflake 애플리케이션 대상 Snowflake 데이터베이스에 연결하는 데 사용할 애플리케이션 연결 파라미터입니다. 이 옵션을 사용하여 dbt 프로파일 또는 클라우드 구성을 재정의합니다. 기본값: datadotworld
Snowflake 계정 Snowflake 계정 또는 테넌트 Snowflake 역할 대상 Snowflake 데이터베이스에 연결하는 데 사용할 역할입니다. dbt 프로파일 또는 클라우드 구성을 재정의하려면 이 옵션을 사용합니다. 이 필드는 대/소문자를 구분하지 않습니다. Snowflake 창고 대상 Snowflake 데이터베이스에 연결하는 데 사용할 창고입니다. dbt 프로파일 또는 클라우드 구성을 재정의하려면 이 옵션을 사용합니다. 이 필드는 대/소문자를 구분하지 않습니다. -
고급 옵션을 입력합니다.
표 4. 고급 옵션 필드 설명 최대 재시도 시스템에서 실패한 API 호출을 재시도하는 횟수입니다. 기본값: 5
재시도 지연 실패한 API 호출에 대한 재시도 시도 사이에 기다리는 시간(초)입니다. 기본값: 2초
API HTTP 헤더 수집기가 수행한 API 호출에 HTTP 헤더로 포함된 이름-값 쌍입니다. 여러 헤더를 지정하려면 라인당 하나의 값을 추가합니다. JDBC 드라이버 속성 드라이버 연결에 전달할 JDBC 드라이버 속성입니다. 라인당 하나의 값을 추가하여 여러 JDBC 드라이버 속성을 지정합니다. NTLM 인증을 사용하는 경우 두 개의 JDBC 속성을 다음과 같이 설정해야 합니다.
- integratedSecurity=예
- 인증 체계=NTLM
- 저장을 선택합니다.
결과
메타데이터 수집기가 생성되고 커넥터 페이지에 구성됨 상태로 나타납니다. 이제 소스 시스템에 연결하고 메타데이터를 수집할 준비가 되었습니다.
다음에 수행할 작업
수집기를 생성한 후에는 다음 작업을 수행할 수 있습니다.
- 수집기를 수동으로 실행하여 메타데이터를 즉시 수집합니다. 메타데이터 수집기 수동 실행 문서를 참조하십시오.
- 정기적인 수집기 실행 일정을 예약하여 메타데이터 수집을 자동화합니다. 메타데이터 수집기 실행 예약 문서를 참조하십시오.
- 런타임 로그를 확인하여 실행 상태를 모니터링하고 문제를 해결합니다. 수집기 실행에 대한 런타임 로그 보기 문서를 참조하십시오.
- 데이터 카탈로그에서 수집된 데이터 자산을 검색하고 평가합니다. 관리 데이터 카탈로그 문서를 참조하십시오.