Elasticsearch データ入力構成フィールド

  • リリースバージョン: Xanadu
  • 更新日 2024年08月01日
  • 所要時間：12分

    • Elasticsearch のデータ入力構成フォームのフィールドについて説明します。

    基本構成

    フィールド 説明
    名前 新しいデータ入力の名前。このフィールドは必須です。
    説明 データ入力の説明。
    実行日 特定の MID サーバーまたは MID サーバークラスターを使用するかどうかを決定するオプション。

    この機能は、ヘルスログアナリティクス アプリケーション (バージョン 26.0.17 - 2023 年 2 月以降、ServiceNow Store から入手可能) でサポートされています。
    MID

    ([実行日 (Execute on)] フィールドが [特定の MID サーバー] に設定されている場合のみ)

    Elasticsearch インデックスに基づくログデータのプル先の MID サーバー。
    注:
    • ベーシック認証をサポートする MID サーバー のみを選択できます。mTLS をサポートする MID サーバー は表示されません。
    • 1 つの MID サーバー にログをストリーミングするデータ入力のデフォルトの最大数は 10 です。この数字は、MID サーバーのプロパティで変更できます。
    • 選択した MID サーバー に対してログの取り込みが有効になっていない場合は、ヘルスログアナリティクス によって自動的に有効になります。
    このフィールドは必須です。
    MID サーバークラスター

    ([実行日 (Execute on)] フィールドが [特定の MID サーバー クラスター] に設定されている場合のみ)

    ログデータのプル先の MID サーバー クラスター。

    データ入力はクラスター内の単一の MID サーバー で実行され、その MID サーバー が失敗するまで継続します。次に、構成された順序に従って、クラスター内の次に利用可能な MID サーバーにすべてのデータ入力タスクが移動されます。

    この機能は、ヘルスログアナリティクス アプリケーション (バージョン 26.0.17 - 2023 年 2 月以降、ServiceNow Store から入手可能) でサポートされています。

    注:
    • ヘルスログアナリティクス はフェイルオーバー MID サーバー クラスターのみをサポートします。これらのクラスターでは、複数の MID サーバー がフェイルオーバー保護のためにグループ化されます。データ入力フォームからクラスターを選択すると、MID サーバー クラスターリストにフェイルオーバークラスターのみが表示されます。
    • MID サーバー クラスターには、ベーシック認証をサポートする MID サーバー のみを含める必要があります。mTLS はログの取り込みではサポートされていません。
    • クラスター内の MID サーバー ごとにログの取り込みを有効にする必要があります。アクティブな MID サーバー に対してログの取り込みが有効になっていない場合は、ヘルスログアナリティクス によって自動的に有効になります。
    • Elasticsearch でクライアント証明書または CA 証明書の認証を使用する場合は、クラスター内のすべての MID サーバー に適切な証明書が必要です。
    • 1 つの MID サーバー にログをストリーミングするデータ入力のデフォルトの最大数は 10 です。クラスターに少なくとも 1 つの MID サーバー が含まれていて、そこで実行されているデータ入力が 10 未満の場合は、その MID サーバー が停止していても、そのクラスターはキャパシティの検証に合格します。
    MID サーバークラスターの詳細については、「MID サーバークラスターの構成」を参照してください。

    このフィールドは必須です。
    アプリケーションサービス ログデータのバインド先のアプリケーションサービス。このフィールドは必須です。
    注:
    関連するアプリケーションサービスが存在しない場合、 作成： アプリケーションサービス CIを追加します新しいアプリケーションサービスのステータスを [運用 (Operational)] に設定します。

    次のフィールドには、読み取り専用の情報が表示されます。

    フィールド 説明
    ステータス データ入力のステータス。
    トランスポート (Transport) ログデータのストリーミングに使用されるプロトコル。

    このデータ入力は Elastic を使用してログデータをインスタンスにストリーミングします。
    ソースの数 このデータ入力によって作成されたログソースの数。
    無効になった時刻 (Disabled since) データ入力が停止または失敗した時刻。
    前回のログ時刻 (Last log time) データ入力で前回のログがストリーミングされた時刻。
    表 : 1. [トランスポート (Transport)] タブ
    フィールド 説明
    サーバー URL クラスターへのアクセスに使用する URL。このフィールドは必須です。
    ルートあたりの最大接続数 (Max connections per route) ノードごとの最大接続数。デフォルト値：2。
    最大スクロールスライス数 Elasticsearch の関連インデックスに構成されたシャードの数。

    この数は、各ポーリング要求で実行する並列クエリの数を Elastic に伝えます。
    プロキシホスト 要求の送信が経由する HTTP プロキシのホスト名。
    プロキシのポート 要求の送信が経由する HTTP プロキシのポート。
    認証手法 Elasticsearch へのデータ入力を認証するために使用される認証方法。オプションは、[基本認証]、[apiKey]、または [クライアント証明書] です。
    注:
    必要な認証方法を選択すると、対応する認証情報フィールドがフォームに表示されます。
    基本認証情報 Elasticsearch 検索エンジンへの接続に使用されるユーザー名とパスワード。
    注:
    このフィールドまたは [AWS 認証情報] フィールドのいずれかに入力します。
    AWS 認証情報 AWS がホストする Elasticsearch 検索エンジンへの接続に使用される AWS 認証情報。
    注:
    このフィールドまたは [基本認証情報] フィールドに入力します。
    AWS リージョン Elasticsearch クラスターが稼働している AWS リージョン。
    API キー認証情報 Elasticsearch 検索エンジンへの接続に使用される API キー。
    クライアント証明書 Elasticsearch 検索エンジンへの接続に使用されるクライアント証明書。
    MID 証明書ポリシーチェックを使用 MID 証明書ポリシーチェックを有効にするオプション。

    SSL TLS を使用して暗号化したログを送信する場合は、このオプションを選択します。次に、 すべて > MID サーバー > MID セキュリティポリシー MID 証明書ポリシーチェックをテーブルに追加します。詳細については、「MID サーバー証明書チェックポリシー」を参照してください。
    表 : 2. [クエリ設定] タブ
    フィールド 説明 例
    開始/終了 (From/To) データ読み込みの開始日時と終了日時。
    • 開始 (From)：この日付より古いデータは読み取られません。
      注:
      この値を過去の日付に設定すると、システムで大量のデータを読み取ることが必要になり、輻輳が生じる可能性があります。
    • 終了 (To)：この日付より新しいデータは読み込みません。ライブデータの場合は、この日付を将来の日付に設定します。
    		 開始 (From)：1970-01-01 15:59:59

    終了 (To)：2300-01-01 15:59:59
    クラスター間検索の使用 Elasticsearch クラスター間でデータを検索するためのオプション。

    このチェックボックスをオンにすると、[検索するクラスター (Clusters to search)] フィールドが表示されます。

    注:
    [詳細構成] フォームの [最小限の権限を使用 (Use minimal privileges)] チェックボックスと [現在のタイムスタンプの読み取り遅延 (秒) (Delay in reading current timestamp (seconds))] フィールドの設定は、複数のクラスターにわたるデータの収集方法に影響します。
    検索するクラスター 検索する Elasticsearch クラスター。

    このフィールドは、[クラスター間検索を使用 (Use cross-cluster search)] チェックボックスがオンになっている場合にのみ表示されます。

    次のいずれかの操作を行います。
    • このフィールドを空のままにするか、「*」を入力して、Elasticsearch で定義されているすべてのリモートクラスターを検索します。
    • 検索するクラスターをカンマ区切りのリストで指定します。
      注:
      ローカルクラスターも検索するには、先頭または末尾にコンマを追加するか、リストに 2 つのコンマを連続して追加します。例：「east,,west」または「,east,west」または「*」
    		 east,west,south
    インデックスプリフィックス (Index prefix) 読み取り対象の Elasticsearch インデックスプリフィックス。データ入力は、このプリフィックスを持つインデックスからのみ読み取ります。このフィールドは必須です。 only-read-these-indices-*
    最小限の権限を使用 構成されたプリフィックスを持つ Elasticsearch インデックスからログデータを直接読み取るためのオプション。
    • 選択すると、データ入力は、構成されたプリフィックスを持つ Elasticsearch インデックスからログデータを直接読み取ります。このタスクを実行するには、読み取り権限のみが必要です。
      注:
      このチェックボックスをオンにしてクラスター間検索を使用すると、データはすべてのクラスターから同時に収集されます。
    • クリアすると、データ入力はプリフィックスを持つすべてのインデックスを取得してフィルタリングし、そのフィルタリングしたインデックスからログデータを読み取ります。このタスクを実行するには、追加の権限が必要です。
      注:
      クラスター間検索を使用するときにこのチェックボックスをオフにしておくと、クラスターからのデータの収集方法に影響します。詳細については、Now Support ナレッジベース記事「Enabling and Using Cross-Cluster Search for Elasticsearch Data Inputs in Health Log Analytics (ヘルスログアナリティクスで Elasticsearch データ入力にクラスター間検索を有効化して使用する方法) [KB1556079]」を参照してください。

    Elasticsearch データ入力を使用したストリーミングログの詳細については、Now Support ナレッジベースの記事「Elasticsearch データ入力を使用したストリームログ - 高度なガイド (Stream logs using Elasticsearch data input - Advanced guide) [KB1080162]」を参照してください。
    ドキュメントタイムスタンプフィールド (Document timestamp field) 読み取られたインデックスに格納されている、ドキュメントのタイムスタンプフィールド。このフィールドは必須です。
    タイムスタンプフィールド形式 (Timestamp field format) ドキュメントのタイムスタンプフィールドの形式。

    形式が指定されていない場合は、デフォルトの Unix エポック時間形式 (ミリ秒) が使用されます。例：

    1684168407 (2023 年 5 月 15 日 16:33:27)

    		 yyyy-MM-dd'T'HH:mm:ss.SSSSSSS'Z'
    用語フィルター (Term filters) フィルターする用語の JSON マップ。
    注:
    テキストフィールドに対しては用語クエリを使用しないでください。ターゲットフィールドがテキストとキーワードの両方としてマッピングされている場合は、fieldname.keyword を使用してキーワードを参照します。
    		 {"severity": ["error","warning"]}
    クエリあたりの最大ドキュメント数 (Max documents per query) 1 回のクエリでフェッチされる最大ドキュメント数。
    スライススクロールタイブレーカー (Sliced-scrolling tiebreaker) データをスライスするために使用される値。各スライスは並列にスクロールされます。デフォルト：_id
    サーチアフタータイブレーカー (Search-after tiebreaker) タイムスタンプでログエントリーをソートするときにタイブレーカーとして使用する、ドキュメントごとの一意の値。
    サーチアフター API の使用 スライススクロール API とサーチアフター API の切り替えのためのオプション。
    注:
    履歴データの読み取りにはスライススクロール API が適していますが、リアルタイムデータの読み取りにはサーチアフター API が適しています。
    インデックス時間サフィックス形式 時間ベースのインデックス名を使用する場合の時間サフィックスの形式 ([logstash-]YYYY.MM.DD など)。

    エイリアスを使用する場合は、このフィールドを空のままにします。

    		 uuuu.MM.dd

    詳細構成

    表 : 3. 詳細設定フォーム
    フィールド 説明
    データ読み取りタイムアウト (ミリ秒) Elasticsearch クラスターへの要求がタイムアウトするまでの時間 (ミリ秒)。
    インデックス検出間隔 (秒) (Index discovery interval (seconds)) データを読み取るために MID サーバー が Elasticsearch クラスターに新しいインデックスを要求する間隔の秒数。
    スクロールコンテキスト時間 (ミリ秒) スクロール API を使用して Elasticsearch からデータを読み取る際に作成されるスクロールの有効期間。詳細については、Elasticsearch スクロール API のドキュメントを参照してください。
    イベントプロセッサーワーカー (Event processor workers) Elasticsearch からフェッチされたイベントを処理するために、同時に使用される CPU コアの最大数。この設定を大きくすると、CPU 使用率が高くなりますが、データ入力スループットは向上します。
    ワーカーキューサイズ (Worker queue size) 処理用にキューに投入されるバッチの最大数。この設定を大きくすると、RAM 使用率が高くなりますが、スループットは向上します。
    デフォルトのタイムゾーン (Default time zone) イベントの日時にタイムゾーン情報が含まれていない場合のデフォルトのタイムゾーン。
    サブサンプルドロップ率 (Sub sample drop ratio) このイベント数に達すると、イベントが 1 つ破棄されます。この設定は、フェッチするイベントの数を減らすために使用されます。
    サブサンプル受信率 (Sub sample receive ratio) このイベント数に達すると、1 つを除いてすべてのイベントが破棄されます。この設定は、受信するイベントの数を減らすために使用されます。
    文字エンコード このデータ入力の文字エンコーディング。
    スリープ間隔 (秒) (Sleep interval (seconds)) クエリでデータが返されなかった場合に、クエリを再実行するまで待機する間隔 (秒)。
    最大長 (バイト) (Max length in bytes) ログメッセージの最大長 (バイト)。
    現在のタイムスタンプの読み取り遅延 (秒) 遅延データを含めるためにクエリを実行する現在時刻までの秒数。

    設定された秒数が現在の時刻から差し引かれ、最後のタイムスタンプが読み取られます。

    注:
    この値が 0 で、データが複数のクラスターから同時に収集される場合、いずれかのクラスターで遅延して送信されたデータはクエリに含まれない可能性があります。