Databricks 메타데이터 수집기

  • 릴리스 버전: Australia
  • 업데이트 날짜 2026년 03월 12일
  • 소요 시간: 4분

    • Databricks 메타데이터 수집기는 외부 Databricks 계정의 메타데이터에 대한 읽기 전용 액세스를 제공합니다.

    수집기는 Databricks Hive 메타데이터, Unity 카탈로그(Delta Lake 포함), 워크플로 및 Notebooks의 데이터 자산에서 메타데이터를 수집합니다.

    메타데이터 카탈로그됨

    Databricks 수집기는 다음 정보를 카탈로그화합니다.

    표 1. 수집된 메타데이터
    객체 카탈로그화된 정보
    열

    이름, 설명, JDBC 유형, 열 유형, Null 허용 여부, 기본값, 열 크기, 열 인덱스

    확장된 메타데이터: 태그

    주:
    사용되지 않는 열과 이러한 사용되지 않는 열과 관련된 계보는 카탈로그되지 않습니다.
    테이블

    이름, 설명, 스키마, 기본 키, 외래 키

    확장된 메타데이터: 태그, 소유자, 유형, 작성 날짜, 마지막으로 수정된 날짜, 위치, 제공자, 버전, 크기, 파일 수, 파티션 열, 속성
    모델

    이름, 소유자, 설명, 작성자, 작성 시간, 마지막으로 수정한 사람, 마지막으로 수정한 시간, 보안 종류, 보안 유형
    뷰

    이름, 설명, SQL 정의, 태그
    스키마

    이름

    확장된 메타데이터: 태그
    데이터베이스

    유형, 이름, 서버, 포트, 환경, JDBC URL

    확장된 메타데이터: 태그
    노트북

    노트북 ID, 경로, 언어 유형(SQL, Python, Scala, R)
    함수

    이름, 설명, 기능 유형
    작업

    제목, 설명, 작성자, 만든 시간, 다음으로 작업 실행, 형식, 최대 동시 실행, 시작 알림, 시간 제한(초), 성공 알림, 일정, Git 소스, 실패 알림, 태그, 작업 목록, 클러스터 목록
    클러스터

    이름, 설명, 노드 유형 ID, 드라이버 노드 유형 ID, Spark 버전, 작업자 수, 자동 크기 조정 최대 작업자, 자동 크기 조정 최소 작업자, AWS 속성, 태그
    작업

    작업 키, 작업 유형(노트북, dbt, Spark jar, Python 스크립트, Python 휠, 파이프라인 작업, SQL), 작업 시간 제한, 재시도 간격, 작업에서 사용하는 클러스터, 최대 재시도, 종속 대상, 라이브러리, 알림(시작 시, 성공 시, 실패 시), 노트북 파일 경로, 노트북 소스, 노트북 매개변수, Spark JAR 메인 클래스 이름, Spark JAR 매개변수, Python 스크립트 파일 경로, Python 스크립트 매개변수, Spark 제출 매개변수, 파이프라인 ID, 파이프라인 전체 새로 고침, Python 휠 패키지 이름, Python 휠 진입점, Python 휠 매개변수, SQL 웨어하우스, SQL 쿼리 ID, SQL 대시보드 ID, SQL 경보 ID, dbt 프로젝트 디렉터리, dbt 프로파일 디렉터리, dbt 웨어하우스, dbt 카탈로그, dbt 스키마, dbt 명령
    외부 위치

    이름, 외부 URL, 설명, 데이터 소스 유형, 작성한 날짜, 작성자, 소유자
    스토리지 자격 증명

    이름, 설명, 자격 증명, 생성한 날짜, 생성한 사람, 소유자
    부피

    이름, 설명, 유형, 소유자, 작성자, 작성 시간, 마지막으로 수정한 사람, 마지막으로 수정한 시간, 메타스토어 ID
    구체화된 뷰

    이름, SQL 정의, 생성됨, 마지막으로 수정됨
    메트릭 뷰

    이름, 설명, YAML 정의, 소스 테이블, 소스 테이블 유형, 필터, 작성됨, 마지막으로 수정됨

    객체 간 관계

    수집된 메타데이터에는 다음 데이터 자산 유형에 대한 카탈로그 페이지가 포함됩니다. 각 카탈로그 페이지는 다른 관련 데이터 자산 유형과 관계가 있습니다.

    표 2. 수집된 데이터 자산 페이지 간의 관계
    데이터 자산 페이지 관계
    테이블

    테이블에 포함된 열
    스키마
    • 스키마를 포함하는 데이터베이스
    • 스키마의 일부인 테이블
    데이터베이스 데이터베이스에 포함된 스키마
    열 열이 포함된 테이블
    작업
    • 작업에서 작업에서 사용하는 클러스터
    • 작업 내에 포함된 작업
    클러스터
    • 작업에 포함된 클러스터
    • 클러스터를 사용한 작업
    작업
    • 작업을 포함하는 작업
    • 작업에서 사용하는 클러스터
    • 작업에 따른 작업
    노트북
    • 노트북이 포함된 폴더
    • 노트북에서 작업 소싱 데이터
    폴더
    • 폴더에 포함된 폴더
    • 폴더에 포함된 노트북
    외부 위치
    • 저장소 자격 증명 사용
    • 데이터 소스(S3 버킷, S3 객체, Azure 컨테이너 또는 Azure Blob)에 연결
    스토리지 자격 증명 외부 위치에서 사용됨
    모델
    • 스키마에 등록됨
    • 데이터 자산(S3 버킷, S3 객체)에 저장됨
    부피
    • 스키마 내에 포함
    • 데이터 자산(S3 버킷, S3 객체)에 저장됨
    구체화된 뷰
    • 구체화된 뷰를 포함하는 스키마
    • 구체화된 뷰의 일부인 열
    메트릭 뷰
    • 메트릭 뷰를 포함하는 스키마
    • 메트릭 뷰의 일부인 열

    Databricks에 대한 계보

    다음 계보 정보는 Databricks 수집기에서 수집됩니다.

    주:
    수집기는 변수문을 통해 정의된 SQL 문에 대한 계보를 지원하지 않습니다.
    표 3. 개체 계보 가용성
    객체 사용 가능한 계보
    뷰의 열 수집기는 Hive 메타스토어와 Unity 카탈로그 모두에 대한 업스트림 뷰 또는 테이블에서 연결된 열을 식별합니다.
    • 데이터 출처
    • ORDER BY를 통해 행을 정렬합니다.
    • WHERE/HAVING을 통해 행을 필터링하는
    • GROUP BY를 통해 행을 집계하는
    주:
    사용되지 않는 열과 이러한 사용되지 않는 열과 관련된 계보는 카탈로그되지 않습니다.
    노트북 노트북을 참조하는 작업입니다. (Databricks Unity 카탈로그가 사용하도록 설정된 경우에만).
    테이블
    • 수집기는 중간 작업과 함께 업스트림 및 다운스트림 테이블과 해당 외부 위치(S3 및 ADLS Gen2 데이터 자산)를 식별합니다.
    • 수집기는 S3 개체에 대한 Databricks 테이블 계보를 수집합니다.

    인증 지원됨

    Databricks 수집기는 개인 액세스 토큰 인증 및 OAuth 서비스 주체 인증을 지원합니다.