Apache Kafka용 스트리밍 연결 퀵 스타트 가이드
이 빠른 시작 가이드에서는 6개의 Stream Connect 생산자 및 소비자를 각각 설정하고 사용하여 인스턴스와 Kafka 환경 간에 ServiceNow 데이터를 교환하는 방법에 대한 개요를 제공합니다.
- Kafka 생산자 단계 플로우 디자이너
- 생산자V2 API
- 에서 Kafka 메시지 트리거 플로우 디자이너
- ETL(추출 변환 로드) 소비자
- 변환 맵 소비자
- 스크립트 소비자
인스턴스를 Kafka 환경에 연결 ServiceNow 하기 위해 Stream Connect는 Hermes 메시징 서비스. 다음 다이어그램은 각 생산자와 소비자, 그리고 Hermes를 통해 Kafka 환경(여기서는 고객 사이트로 표시됨)에 연결하는 방법을 보여줍니다.
자세한 내용은 Apache Kafka용 스트리밍 연결 사용 및 Hermes Messaging Service.
시작
고객 사이트를 나타내기 위해 이 가이드에서는 컴퓨터에서 실행되는 명령줄 도구를 사용합니다 Apache Kafka . 이 도구와 함께 사용되는 구성 매개 변수는 Kafka 프로토콜을 사용하여 ADCv2(Application Delivery Controller 버전 2) 게이트웨이에 대한 클라이언트 연결을 구성하는 데 사용할 수 있습니다.
주어진 모든 명령은 OpenSSL 버전 (LibreSSL 2.8.3) 및 Apache Kafka 바이너리 배포 버전 kafka_2.13-3.4.0.tgz로 테스트되었습니다. 그러나 모든 명령은 로컬 환경에 있는 모든 버전에서 작동해야 합니다.
빠른 시작 단계
이 퀵 스타트 가이드는 5단계로 구성되어 있습니다. 1단계와 2단계에서는 Hermes에 대한 연결을 설정하고 테스트하는 방법을 다룹니다. 3-5단계에서는 각 Stream Connect 생산자 및 소비자를 구성하고 사용하여 데이터를 보내고 받는 방법을 보여 줍니다.
- ADCv2 게이트웨이는 상호 인증을 사용하여 요청을 인증하므로 첫 번째 단계는 즐겨 사용하는 Kafka 클라이언트와 함께 사용할 키 저장소 및 신뢰 저장소를 만드는 것입니다. 다음 페이지에서는 필요한 인증서를 Set up a secure connection to the Hermes Messaging Service만드는 방법을 보여 줍니다.
- Hermes에 대한 보안 연결을 설정한 후 ADCv2 게이트웨이를 통해 Hermes에 대한 연결 테스트를 수행하여 키 저장소 및 신뢰 저장소가 올바르게 생성되었는지 확인합니다.
- 이제 당신은 할 수 있습니다 Kafka 메시지 트리거 및 스크립트 소비자를 사용하여 메시지 사용. 이 페이지의 첫 번째 부분에서는 에서 Kafka 메시지 트리거 플로우 디자이너 를 사용하여 Kafka에서 메시지를 검색하는 방법을 보여 줍니다. 두 번째 부분에서는 스크립트 소비자를 사용하여 메시지를 검색하는 방법을 보여 줍니다.
- 및 ETL 및 변환 맵 소비자를 사용하여 데이터 임포트. ETL 정의 및 변환 맵은 예약된 임포트를 통해 데이터를 끌어올 때 사용할 변환 논리를 지정합니다. 동일한 ETL 정의 및 변환 맵을 사용하여 Kafka를 통해 수신된 이벤트를 변환할 수 있습니다.주:ETL 소비자를 사용하려면 강력한 가져오기 집합 변환기가 필요합니다. 마찬가지로 변환 맵 소비자를 사용하려면 변환 맵이 필요합니다.
- 마지막으로 할 수 있습니다 Kafka Producer 단계 및 ProducerV2 API를 사용하여 메시지 게시. 이 페이지에서는 Kafka Producer 단계와 플로우 디자이너 ProducerV2 API를 모두 사용하여 Kafka에 메시지를 푸시하는 방법을 보여줍니다.