Stream Connect でのメッセージと Kafka トピックのレプリケーションの作成

メッセージとトピックの複製をセットアップして、環境 Apache Kafka と ServiceNowの間でデータを複製します。

始める前に

• 必要なロール:message_replication_admin
• この機能は の一部 Apache Kafka 向けストリームコネクト であり、サブスクリプションが必要です。詳細については、「Apache Kafka 向けストリームコネクト の使用」を参照してください。
• Hermes メッセージングサービスとインスタンス PKI 証明書ジェネレーターが機能していることを確認します。
  • Check the status of and connection to the Hermes Kafka cluster。
  • Key Management Framework Healthをチェックして、[インスタンス PKI] セクションの 3 つの項目すべてが動作していることを確認します。
• を構成し MID サーバーて開始します。詳細については、「Configuring MID Servers」を参照してください。ファイアウォール MID サーバー を介してエンドポイントにアクセスできる Hermes 必要があります。ネットワーク管理者と協力して、次のポート範囲が開いていることを確認します。
  • プロデューサー: 4000–4050
  • コンシューマー1: 4100–4150
  • コンシューマー2: 4200–4250
• Stream Connect Message Replication は、Connection & Credential Alias を使用してローカル Kafka に接続します。 Create a Connection & Credential alias接続タイプ が Kafka である。接続および資格情報エイリアスには、 Kafka 接続 と Kafka SSL 資格情報が必要です。
• Stream Connect Message Replication には、 ServiceNow Stream Connect Replication - Kafka [com.glide.hub.stream_connect.replication.kafka] プラグインが必要です。

このタスクについて

このページでは、メッセージレプリケーションレコードと関連する Kafka トピックレプリケーションレコードを作成する方法について説明します。

メッセージレプリケーションレコードは、単一の Kafka クラスターを表します。たとえば、2 つの Kafka クラスターがある場合は、クラスターごとに 1 つずつ、合計 2 つの異なるメッセージレプリケーションレコードを作成します。メッセージレプリケーションレコードは、そのクラスターとの間で複製されるすべてのトピックの親レコードです。メッセージレプリケーションレコードは、メッセージレプリケーション [sys_sc_message_replication] テーブルに格納されます。

Kafka トピックレプリケーションレコードは、単一のソーストピックから単一の宛先トピックへのレプリケーションを指定します。単一のソーストピックを複数の宛先にレプリケートすることはできません。各デスティネーションへのレプリケートは1回のみ可能です。Kafka トピックレプリケーションレコードは、Kafka トピックレプリケーション [sys_kafka_topic_replication] テーブルに格納されます。

手順

1. 移動先 すべて > 統合ハブ > ストリームコネクト > メッセージのレプリケーション をクリックし、[ 新規] を選択します。
2. [メッセージのレプリケーション] フォームで、フィールドに入力します。

   表 : 1. メッセージ レプリケーション フォーム

   フィールド	説明
   名前	メッセージレプリケーションの名前。
   メッセージングサービス接続	接続先のメッセージングサービスを指定する接続および資格情報エイリアス。
   ステータス	メッセージレプリケーションの前回の既知のステータス。このフィールドは自動的に設定されます。
   エラーメッセージ	メッセージレプリケーションの前回の既知のステータスに基づくエラーメッセージ。このフィールドは自動的に設定されます。
   アプリケーション	メッセージレプリケーションのアプリケーションスコープ。このフィールドは自動的に設定されます。
   アクティブ	メッセージのレプリケーションを有効にするオプション。

3. [Save (保存)] を選択します。
   フォームを保存すると、[Kafka トピックのレプリケーション] タブがページの下部に表示されます。
4. [Kafka トピックのレプリケーション] タブで、 [ 新規] を選択します。
5. [Kafka トピックのレプリケーション] フォームで、フィールドに入力します。

   表 : 2. Kafka トピックレプリケーションフォーム

   フィールド	説明
   名前	トピックレプリケーションの名前。名前は、他のフィールドの値に基づいて自動的に生成されます。 名前を生成するには、方向、ServiceNow トピック、および トピック名 フィールドに値を入力し、保存 を選択します。 方向が [ServiceNow] の場合、名前の形式はトピック名 [レプリケーション名] - >ServiceNowトピック名 [SN] です。 方向が [ServiceNow] からの場合、名前の形式はトピック名 [SN] - ServiceNow >トピック名 [レプリケーション名] です。
   方向	トピックのレプリケーションの方向。 [ServiceNow へ ] では、ローカルの Kafka 環境から にトピックが複製されます ServiceNow。 [ServiceNowから ] は、ローカルの Kafka 環境からトピック ServiceNow を複製します。
   ServiceNow トピック	Kafka トピック [sys_kafka_topic] テーブルへの参照。
   レプリケーション	このトピックのレプリケーションを管理するメッセージレプリケーション。
   トピック名	ローカル Kafka 環境内のトピックの名前。
   アクティブ	トピックのレプリケーションをアクティブ化するオプション。
   ステータス	トピックレプリケーションの前回の既知のステータス。このフィールドは自動的に設定されます。
   エラーメッセージ	トピックレプリケーションの前回の既知のステータスに基づくエラーメッセージ。このフィールドは自動的に設定されます。
   現在の更新セットを追跡	選択すると、トピックのレプリケーションが現在の更新セットに追加されるため、準本番インスタンスから本番インスタンスに簡単に昇格できます。このフィールドを追加するためにフォームを構成しなければならない場合があります。

6. [送信] を選択します。
7. ステップ 1 〜 6 に従って、すべての Kafka クラスターとトピックのメッセージとトピックのレプリケーションを作成します。

タスクの結果

すべてのメッセージとトピックのレプリケーションレコードを作成したら、メッセージをレプリケートする必要があります。メッセージレプリケーションレコードの [ ステータス ] および [ エラーメッセージ ] フィールドで、レプリケーションの動作に関する一般的なステータスを確認できます。

個々の Kafka トピックレプリケーションレコードの [ ステータス ] および [ エラーメッセージ ] フィールドで、特定のトピックレプリケーションのステータスを確認することもできます。

各 Kafka トピックレプリケーションレコードには、[メッセージレプリケーション統計情報] という名前の関連リストもあります。レプリケーションが実行されると、このリストには、各トピックのレプリケーションに対して 60 秒ごとに作成される測定基準レコードが表示されます。各測定基準レコードには、各収集間隔でレプリケートされたメッセージの数を示す メッセージ数など、トピックのレプリケーションに関する情報が含まれています。

次のタスク

ローカルの Kafka から にメッセージをレプリケートする場合は、スクリプト、ETL、または変換マップコンシューマーを構成してメッセージを処理するか、KafkaServiceNowメッセージトリガーを設定してフローを開始できます。

ローカルの Kafka からメッセージをServiceNowレプリケートする場合は、in フローデザイナー を使用するか ProducerV2 API を使用して、トピックとローカル Kafka にHermesメッセージを発行できますKafka Producer step。