Kafka コンシューマー向けのガイド付きセットアップ
Kafka コンシューマー向けの完全なガイド付きセットアップを行うには、次の手順を実行します。
始める前に
移動先 ログエクスポートサービス (LES) > Kafka コンシューマー > ガイド付きセットアップ. 構成するセットアップのタイプを選択し、[ 続行] を選択します。
注:
ログエクスポートサービスアプリケーションのインストール中、ServiceNow は、基盤となる Hermes メッセージングサービスインフラストラクチャをプロビジョニングします。このプロセスは、ログエクスポートサービスアプリケーションのインストールを要求してから最大で 2 時間程度かかることがあることに注意してください。
必要なロール:admin
手順
-
Hermes メッセージングサービス診断をレビューします。
このステップで画面に表示される Hermes 診断ツールを使用して、Hermes メッセージングサービスが稼働していることを確認することをお勧めします。このページに「ページが見つかりません」というエラーが表示された場合、Hermes はインストールされていません。システムアドミンに連絡してください。
- セットアップ情報:次のブートストラップ情報は、Hermes メッセージングサービス への接続に使用されます。「プロデューサーブートストラップ」は Hermes にメッセージを送信するために使用される接続であり、「コンシューマーブートストラップ 1 および 2」は Hermes からメッセージを取得するために使用されます。
- プロデューサーブートストラップ
- コンシューマーブートストラップ 1
- コンシューマーブートストラップ 2
- インスタンス PKI:インスタンス公開鍵インフラストラクチャ (PKI) コンポーネントにより、ServiceNow インスタンスは、X.509 信頼階層内で発行者として機能します。
- ブートストラップ接続:[ テストを実行 ] を選択して、外部クライアントが定義されたインスタンスポート (プロデューサーとコンシューマー) に接続できることを確認します。
- インスタンス接続:[ テストを実行 ] を選択して、インスタンスがメッセージを送受信できることを確認します。
- トピックを表示:リストされたトピックを選択して、最後の既知のメッセージのタイムスタンプを取得します。
注:今後、 Hermes 診断にアクセスして、潜在的な接続の問題をトラブルシューティングするには、ガイド付きセットアップのこのステップに戻るか、 すべて > Hermes メッセージングサービス > 診断. - セットアップ情報:次のブートストラップ情報は、Hermes メッセージングサービス への接続に使用されます。「プロデューサーブートストラップ」は Hermes にメッセージを送信するために使用される接続であり、「コンシューマーブートストラップ 1 および 2」は Hermes からメッセージを取得するために使用されます。
-
Hermes メッセージングサービスへの安全な接続のための証明書を生成し、そこからログイベントをプルします。
外部システムに接続するときにこれらの証明書を使用します。
Hermes メッセージングサービスへの安全な接続をセットアップします。詳細については、「 LES 用 Hermes Messaging Service への安全な接続を設定する」 を参照してください。これらの証明書は、Hermes からログをプルするクライアントでの認証と承認に必要となります。
注:この手順には、admin ロールまたは Hermes_admin ロールが必要です。 -
ログプロデューサーの構成:エクスポートするログソースを選択し、フィルターを構成します。
ログプロデューサーを構成するには、次のタスクを完了します。
- エクスポートするログソースの構成:エクスポートするログソースごとに 1 つのソースレコードを作成します。注:この手順を完了するには、admin ロールまたは sn_logstoanalytics.admin ロールが必要です。
- 右上隅にある [新規 ] を選択します
- ソースタイプを選択します
- Select a Table
- ログ出力の制御に使用できるログレベルを選択します
- ログソースのエクスポート先のトピックを選択または作成します。新しいトピックを作成する場合は、次のフィールドに入力します。
- 名前:作成しているトピックの名前
- アプリケーション ID:
sn_logstoanalyticsを入力します - 名前空間:デフォルトの名前空間を入力します
- パーティション:Hermes のトピックのパーティションフィールドは、トピックのデータが分割されるパーティションを参照します。スケーラビリティと並列処理において重要な役割を果たします。
- ログを選択的に転送するには、[ フィルタータイプ ] 条件を選択します。注:フィルターは選択したソースの種類によって異なります
- [Update (更新)] を選択します。
[アクティブ] フィールドは、ログソースをエクスポートするかどうかを制御します。エラーが表示された場合は、「Hermes 診断の確認」タスクに戻り、Hermes ステータスを確認します。
- ログプロデューサーの検証:ログの生成元となるソースを作成したら、次を使用してトピック内のライブログレコードを表示できます。 Hermes メッセージングサービス > Hermes トピックインスペクター.
- 外部トピックの選択
- リストトピックを選択
- 前のステップからトピックの行を選択 ([Sources (ソース)] にリストされているもの)
- 必要に応じてメッセージの開始日を調整
- [ 表示 ] を選択して、トピックにエクスポートされたログメッセージを表示します
- エクスポートするログソースの構成:エクスポートするログソースごとに 1 つのソースレコードを作成します。
-
Kafka コンシューマーの接続:以下のタスクに従って、選択した Kafka コンシューマーを接続して、Hermes からログイベントをプルします。
- Kafka コンシューマーの特定:ログアナリティクスアーキテクチャに基づいて 2 つのオプションがあります。
- 独自の Kafka システムがあり、それをログアグリゲーション用に選択した場合は、ネイティブ Kafka プロトコルを介して Hermes Messaging Service に直接接続できます。
- ログアナリティクスツールを Hermes Messaging Service に直接接続することを選択した場合は、ログアナリティクスシステムでサポートされている Kafka コネクタ (つまり、Splunk Connect for Kafka) を展開する必要があります。
注:いずれの場合も、これらのシステムのアドミニストレーターと協力して、Hermes Messaging Service との接続を調整する必要があります。 - Kafka コンシューマーシステムへの Hermes 証明書のインポート:Kafka コンシューマーシステムにログインし、システムを構成して外部システムに接続するための適切なアドミンエンタイトルメントがあることを確認します。「Hermes Messaging Service への安全な接続のセットアップ」タスクで生成された証明書を Kafka コネクタまたは Kafka サーバーにインポートします。選択した Kafka コンシューマーのドキュメントの指示に従います。
- Kafka プロセスの構成:Hermes Messaging Service は、高い可用性を実現するように設計されています。Hermes からのメッセージを消費するには 2 つのプロセスが必要です。Hermes は、フェイルオーバー目的で、Kafka クラスターをペアで使用するため、プロセスが 2 つ必要になります。片方のクラスターがダウンすると、データはもう一方の Hermes Kafka クラスターに生成されます。Kafka コンシューマーシステムでは、両方の Hermes Kafka クラスターに接続するために 2 つの個別のコンシューマープロセスを作成する必要があります。両方のプロセスで同じ Hermes Kafka トピックを指定しますが、次の 2 つの別々のブートストラップアドレスを構成する必要があります。
- <instance_name>.service-now.com:4100,<instance_name>.service-now.com:4101,<instance_name>.service-now.com:4102,<instance_name>.service-now.com:4103
- <instance_name>.service-now.com:4200,<instance_name>.service-now.com:4201,<instance_name>.service-now.com:4202,<instance_name>.service-now.com:4203
重要:- 外部システムから Kafka トピックにアクセスする場合は、ログの転送先のトピックの先頭に「snc.<インスタンス名>」を付ける必要があります。
- 各コンシューマーを同じ Kafka コンシューマーグループ ID で構成します。
- キーストアファイルとトラストストアファイルを、コンシューマーがアクセスできる場所にインストールします。
- コンシューマーが必要とする場合は、次の Kafka JSON コンバーターのプロパティを指定してスキーマを無効にします:「key.converter.schemas.enable=false」、「value.converter.schemas.enable=false」。
- Kafka コンシューマーが Herme からログをプルすることを確認する:選択した Kakfa コンシューマーで、 Hermes Messaging Service からログイベントをプルできることを確認します。
- Kafka コンシューマーの特定:ログアナリティクスアーキテクチャに基づいて 2 つのオプションがあります。