사용자 지정(스크립트를 통해 로드) 유형 데이터 소스

  • 릴리스 버전: Zurich
  • 업데이트 날짜 2025년 07월 31일
  • 소요 시간: 4분

    • 사용자 지정 스크립트를 사용하여 임포트 세트 테이블에 수신 데이터 유형을 저장합니다.

    데이터 소스에 대한 사용자 지정 유형(스크립트를 통해 로드)을 선택하면 데이터 로더 필드가 나타납니다. 데이터 로더 필드는 데이터를 가져오고 입력 매개변수를 사용하여 임포트 세트 테이블에 삽입하는 스크립트를 입력할 수 있는 JavaScript 필드입니다import_set_table. 예를 들어 REST API 또는 첨부 파일에서 데이터를 가져오는 스크립트를 입력할 수 있습니다.

    데이터 로더 스크립트는 데이터를 로드합니다. 병렬 로드를 활성화하여 스크립트를 사용하여 데이터를 더 작은 섹션으로 분할한 다음 병렬로 로드할 수도 있습니다. 병렬 로드를 사용하면 통합을 더 짧은 시간에 완료하고 다른 작업에 미치는 영향을 줄일 수 있습니다. 병렬 작업은 일반적으로 즉시 처리됩니다. 작업을 지연해야 하는 경우 Data Loader 스크립트에서 지연을 구성할 수 있습니다.
    주:
    병렬 로드를 사용하는 경우 동시 임포트를 실행 중이어야 하며 임포트에 대한 파티션 메서드는사용자 지정 크기로 설정되어야 합니다. 자세한 내용은 데이터 임포트 예약 문서를 참조하십시오.

    데이터 로더 스크립트

    데이터 로더 스크립트에는 다음과 같은 입력 매개변수가 있습니다.
    • import_set_table: 데이터 소스 기록에서 참조되는 임포트 세트 테이블입니다. 데이터가 이 테이블에 삽입됩니다.
    • data_source: 데이터 소스 기록에서 참조되는 데이터 소스입니다.
    • import_log: 데이터 임포트 활동에 대한 정보를 기록하는 로그입니다.
    • last_success_import_time: 이 데이터 소스를 마지막으로 성공적으로 실행한 시간입니다.
    • partition_info: 데이터에 대한 분할 정보입니다. 병렬 로드에 사용됩니다.
    import_set_table 매개 변수에는 다음과 같은 메서드가 있습니다.
    • addColumn(label, maxLength): 임포트 세트 테이블에 문자열 유형 열을 추가합니다.
    • addJSONColumn(label, maxLength): 임포트 세트 테이블에 JSON 유형 열을 추가합니다.
    • addXMLColumn(label, maxLength): 임포트 세트 테이블에 XML 유형 열을 추가합니다.
    • insert(rowData): 임포트 세트 테이블에 맵(키 = 열 이름, 값 = 열 값)을 삽입합니다.
    • getMaximumRows():20개 기록 로드 테스트를 선택하면 20을 반환합니다. 다른 모든 경우에 -1을 반환합니다.

    데이터 로더 예시

    임포트 세트 테이블에 데이터를 삽입하는 스크립트를 보여주는 데이터 로더 예시입니다.

    병렬 로드 스크립트

    병렬 로드 스크립트에는 다음과 같은 입력 매개변수가 있습니다.
    • parallel_job_loader: 병렬 작업 [sys_parallel_job] 테이블
    • data_source: 데이터 소스 기록에서 참조되는 데이터 소스입니다.
    • import_log: 데이터 임포트 활동에 대한 정보를 기록하는 로그입니다.
    • last_success_import_time: 이 데이터 소스를 마지막으로 성공적으로 실행한 시간입니다.

    parallel_job_loader 매개 변수에는 Parallel Jobs [sys_parallel_job] 테이블에 파티션 정보를 추가하는 add(partitionInfo) 메서드가 있습니다.

    병렬 로드 예제

    이 예제에서 병렬 로드 스크립트는 데이터를 병렬로 로드할 더 작은 섹션으로 분할합니다. 데이터 로더 스크립트는 데이터를 임포트 세트 테이블로 로드하고 120초 지연 후 데이터를 처리할 새 파티션을 추가합니다.

    병렬 로드 스크립트 예.

    병렬 로드 지연, 상태 및 속성

    대부분의 병렬 작업의 경우 Data Loader 스크립트가 실행될 때 데이터를 사용할 수 있으므로 Data Loader 스크립트에 병렬 작업을 추가할 필요가 없습니다.

    데이터를 즉시 사용할 수 없는 경우 Data Loader 스크립트에서 지연을 사용하여 추가 병렬 작업을 생성할 수 있습니다. Data Loader 스크립트가 실행되면 지연에 의해 지정된 시간 후에 병렬 작업이 실행되도록 예약됩니다.

    Data Loader 스크립트에 병렬 작업을 추가할 때 반복적인 루프를 방지하십시오. 제약 조건을 지정하여 반복 루프를 피할 수 있습니다. 이전 예제에서 Data Loader 스크립트의 병렬 작업은 제약 조건 (partition.start < 1000)을 사용합니다. 지연은 초 단위로 측정됩니다.

    동시 임포트 세트 [sys_concurrent_import_set] 테이블로 이동하여 작업을 선택하고 병렬 작업 탭을 확인하여 현재 병렬 임포트 작업의 상태를 확인할 수 있습니다.

    지연된 작업은 지연 시간에 따라 보류 중 으로 표시될 수 있습니다. 병렬 작업은 이벤트 큐에서 처리되므로 이벤트 [sysevent] 테이블로 이동하고 [Queue] [is] [impex_parallel_job_queue]로 필터링하여 작업을 볼 수도 있습니다.

    작업이 600분 넘게 실행 중 상태에서 멈춘 경우 자동으로 보류 중 상태로 돌아갑니다. 속성을 사용하여 com.glide.system_parallel_job_inactive_time_minutes 병렬 작업이 실행 중 상태로 중단될 수 있는 시간을 수정할 수 있습니다.

    두 번 시도한 후에도 병렬 작업을 완료할 수 없으면 작업이 오류로 설정됩니다. 속성에 오류 상태가 되기 전에 시도 횟수를 com.glide.system_parallel_job_max_retry_count 수정할 수 있습니다. 이 com.glide.system_parallel_job_auto_retry 속성을 false로 설정하여 자동 재시도를 사용하지 않도록 설정할 수 있습니다.

    스크립트 자동 완성

    스크립트를 입력하면 다음 예와 같이 스크립트 자동 완성에 사용 가능한 옵션이 표시됩니다.

    데이터 로더 자동 완성