Kafka 스트림 생성

  • 릴리스 버전: Zurich
  • 업데이트 날짜 2025년 07월 31일
  • 소요 시간: 2분

    • 추출 변환 로드(ETL), 변환 맵 또는 스크립트 소비자에 대한 데이터 스트림을 정의합니다. Kafka 스트림은 소비자에 대한 데이터 스트림을 정의합니다.

    시작하기 전에

    이 태스크 정보

    ETL, 변환 맵 또는 스크립트 소비자를 사용하려면 Kafka 스트림을 생성해야 합니다. 소비자를 구성하고 스트림을 생성 및 활성화한 후 Kafka 환경에서 메시지 수신을 시작할 수 있습니다.

    프로시저

    1. ETL, 변환 맵 또는 스크립트 소비자에 대한 기록을 엽니다.
      소비자 기록을 찾으려면 다음으로 이동하십시오. 모두 > 통합 허브 > 소비자 을 클릭하고 ETL 소비자, 변환 맵 소비자 또는 스크립트 소비자를 선택합니다.
    2. Kafka 스트림 섹션을 찾아 새로 만들기를 선택합니다.
    3. 양식에서 필드에 내용을 입력합니다.
      표 1. Kafka 스트림
      필드 설명
      이름 Kafka 스트림의 이름입니다.
      주제 메시지를 모니터링할 주제의 이름입니다.
      최대 동시 허용 사용자 수

      메시지를 소비하는 데 사용할 최대 병렬 프로세서 수와 만들 파티션 그룹 수입니다.

      기본값: 1
      상대적 가중치

      각 주기에서 메시지 처리를 위해 사용자에게 할당된 최대 시간입니다. 다른 소비자에 상대적입니다. 예를 들어, 상대적 가중치가 다른 소비자보다 두 배 높은 소비자는 두 배의 시간을 얻습니다. 상대적 가중치가 동일한 소비자에게는 동일한 시간이 부여됩니다.

      최솟값은 5입니다. 최댓값은 2000입니다. 기본값은 최대 동시 허용 사용자 수에 glide.ih.kafka.consumer.max_seconds_per_partition_group 속성 값을 곱한 값과 같습니다. glide.ih.kafka.consumer.max_seconds_per_partition_group 속성은 각 파티션 그룹에 할당되는 최대 시간(초)을 지정합니다. 기본값은 10입니다.

      시스템은 상대적 가중치를 사용하여 구독에 대한 파티션 그룹 시간 제한을 계산합니다. 파티션 그룹 시간 제한은 특정 구독의 각 파티션 그룹에 할당되는 최대 시간(밀리초)을 지정합니다.

      이 필드는 고급이 선택된 경우에만 나타납니다.
      소비 시작 주제에서 메시지 소비를 시작할 위치를 지정하는 옵션입니다. 다음 중 하나를 선택하십시오.
      • 첫 번째 활성화 후 받은 메시지: 스트림이 활성화된 후 주제가 받은 메시지만 사용합니다.
      • 주제에 저장된 모든 메시지: 스트림이 활성화되기 전에 받은 메시지를 포함하여 주제의 모든 메시지를 사용합니다.
      메시지 처리 실행당 처리되는 메시지 수를 지정하거나 시스템에서 메시지 수를 결정하도록 하는 옵션입니다. 다음 중 하나를 선택하십시오.
      • 자동으로 최적화: 시스템이 실행당 처리할 메시지 수를 결정합니다.
      • 수동으로 재정의: 실행당 처리할 메시지 수를 지정합니다.
      이 필드는 고급이 선택된 경우에만 나타납니다.
      최대 메시지

      실행당 처리할 최대 메시지 수입니다.

      이 필드는 메시지 처리에서 수동으로 재정의를 선택한 경우에만 나타납니다.
      다른 사용자 이름으로 실행 지정된 사용자의 자격 증명으로 소비자를 실행하는 옵션입니다.
      소비자 데이터를 스트리밍할 소비자의 이름입니다. 이 필드는 스트림 추가를 시작한 소비자의 이름으로 자동 설정됩니다.
      활성 스트림을 활성화하는 옵션입니다.
      고급 고급 필드 상대적 가중치 및 메시지 처리를 볼 수 있는 옵션입니다.
    4. 관련 링크에서 활성화를 선택합니다.
      스트림이 활성화되면 시스템은 연결된 소비자에 대한 Kafka 구독을 자동으로 생성합니다.
    5. 제출을 선택합니다.

    결과

    스트림을 활성화하면 소비자가 지정된 주제에서 처리할 메시지를 찾기 시작합니다. 구독 페이지를 방문하여 소비자 및 해당 성능에 대한 자세한 정보를 볼 수 있습니다. 자세한 내용은 Kafka 구독 및 통계 보기 문서를 참조하십시오.