最適化されたデータコレクターのログ詳細

  • リリースバージョン: Xanadu
  • 更新日 2024年08月01日
  • 所要時間：9分

    • Tokyo リリース以降、最適化された新しいデータコレクターが利用可能です。このデータコレクターのログの詳細は、従来のデータコレクターのログの詳細とは異なります。

    コレクションの概要

    データ収集ジョブでは、データ コレクタを使用する各インジケーター ソースに対して SQL クエリを実行します。クエリーは、開始日から終了日までの収集時間ごとに繰り返されます。次に、次のインジケーターソースに対してクエリが実行されます。クエリを実行する各ステップは、データ収集ジョブ ログに記録されます。
    図 : 1. データ収集ジョブの概要
    データ収集ジョブの異なるレベルのプロセス間の関係を示すフローチャート

    収集ジョブを開始して完了しています

    ログメッセージに表示されるデータ収集プロセスに従います。各サブプロセスのログメッセージは、独自のテーブルに分離されています。

    注:
    このログは、 データ収集の最適化で説明されているように最適化された HSQL データコレクター用です。com.snc.pa.dc.hsqlが「false」の場合、従来のデータコレクターを使用しています。それ以外の場合は、最適化されたデータコレクターを使用しています。このログの詳細については、「 クラシックデータコレクターのログ詳細」を参照してください。
    収集ジョブのステップ 結果のログ エントリの例
    収集ジョブの [ユーザーとして実行] のドメインを表示します。 ユーザー <admin> はドメイングローバルに属しています
    収集が開始されます。ジョブ開始は、スコア、テキストインデックス、またはその両方を収集するかどうかを指定します。メッセージには、最適化された HSQL データコレクターが使用中であることと、デバッグログが有効になっているかどうかも示されます。デバッグログを有効にできるのは カスタマーサービス & サポート のみです。 スコアとテキストインデックスの両方の収集を開始します。システム内のプロパティの値:

    HSQL データコレクターを使用:true

    有効なデバッグログ:true

    ノード名:vsr007
    スコアが収集されるドメインを表示します。ドメインに関するその他の関連する詳細も表示されます。 DomainConfig:ドメイン構成収集ログのテスト - 3d359877b77000106886e664de11a97c、タイプ:conditions、RollUpType:roll_up_children、collectAggregate? はい、collectChildren?: はい、AggregateDomain: 名前: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e、ドメイン: デフォルト、MSP、ACME、Cisco、Initech、Oceanic Airlines
    ジョブがデータを収集するインジケーターソース (一意の ID を含む) を一覧表示します。 収集するインジケーターソース: Incidents.New: b54f2c23d7030100b96d45a3ce61032f, Incidents.Open: b5cf2c23d7030100b96d45a3ce6103cc, Incidents.Closed: 2ac8dd31ff2302001e68ffffffffff3d, Incidents.Resolved: 4c207c23d7030100b96d45a3ce610308
    ジョブに関連付けられている各インジケーターと、データ収集に関連するインジケータープロパティを一覧表示します。
    • レコードはスナップショットに収集されていますか?
    • 除外されているブレークダウンはありますか?
    • インジケーターソースの収集期間は上書きされていますか?
    • ブレークダウンマトリクスは収集されていますか?
    • ブレークダウンマトリクスが収集された場合、ブレークダウンの組み合わせは除外されますか?
    		 JobIndicator:オープンインシデントの数 - de537dc3d7131100b96d45a3ce610305 ジョブインジケーターのプロパティ:collectIndicator?:はい、BreakdownCollectionType:WITH_EXCLUDE 除外されたブレークダウン:アサイン先グループ、ステータスインジケータープロパティ=> CollectingRecords:はい、上書きされた収集期間:いいえ、スクリプト化済み:いいえ、ブレークダウンの組み合わせ:はい、除外されるブレークダウンの組み合わせ:いいえ、除外される組み合わせはありません。
    各インジケーターソースのステップを繰り返す 各 インジケーターソースの反復ステップの表を参照してください。
    データ収集ジョブの統計情報の表示 統計: 挿入数 184、更新数 0、削除数 92、エラー数 0、警告数 0
    ジョブを完了 収集が終了しました

    インジケーターソースごとに反復されるステップ

    収集ジョブのステップ 結果のログ エントリの例
    インジケーター ソースを取得します。 インジケーターソース Incidents.Open を処理しています。
    最適化されたHSQLデータコレクターが使用されていることを繰り返します。
    インジケーターソースから継承された条件以外に、追加の条件を持つインジケーターを一覧表示します。 インジケーター:admin ログイン - [インジケーターのsys_id]、他の条件:ref_isc_login_event.login_type=login_admin、レコードの収集:true
    収集期間ごとにステップを反復します。 表「収集期間ごとに反復されるステップ」を参照してください。
    次のインジケーターソースを取得します。 処理インジケーターソース Incidents.New

    収集期間ごとに繰り返されるステップ

    収集ジョブのステップ 結果のログ エントリの例
    収集ジョブの開始日。 インジケーターソース Incidents.Open の20191103収集中
    次のフィールドをフェッチします。
    • ブレークダウンソースの一意のフィールド (通常はsys_id)
    • ブレークダウンマッピングで使用されるインジケーターフィールド
    • スクリプト化されたブレークダウンマッピングで使用されるテーブルフィールド
    • テキストインデックスが収集される場合にテキスト分析で使用されるインジケーターソースフィールド (通常はshort_descriptionを含む)
    		 「インシデント」から「short_description、sys_id、opened_at、assignment_group、説明、優先度、カテゴリ」を取得しています
    インジケーター ソースで指定されている条件に基づいて SQL を生成します。
    注:
    インジケーター ソースがいずれかの条件で今日を指定している場合、今日はデータ収集ジョブが実行される期間に関連して考慮されます。たとえば、Incidents.New インジケーター ソースには、条件 [オープン][次の値に等しい (=)][今日] が含まれています。07:00:00 に開始するように日が定義されていて、2019-10-28 のデータが収集されると、ジョブは右側の SQL スクリプトを生成します。
    		 SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07:00:00' AND task0.'opened_at' <= '2019-10-29 06:59:59')
    SQLで取得したレコード数を表示します。 インジケーターソース Incidents.Open から 150 行をフェッチしました (ファクトテーブル:インシデント)
    以前の結果を削除します。 インジケーター:代理操作の以前の結果 1 を削除しました
    map/reduce 関数を実行してインジケータースコアを計算します。 map/reduce 関数の手順の表を参照してください
    テキスト インデックス作成がアクティブで、インジケーター ソース用に設定されている場合、データ コレクタは結果のテキスト インデックスを格納します。 インジケーターソース Incidents.Open のテキストインデックスを保存中
    Incidents.Open のテキストインデックス 41,984 に使用されるバイト
    オブジェクトは、次のいずれかのしきい値を超えるたびにHSQLデータベースにオフロードされます。
    • スコア数
    • スナップショットの数
    • 個別のカウント値の合計数

    オブジェクトのカテゴリごとにオフロード制限を超えた回数をログに記録します。1つのカテゴリでオフロード制限を超えるたびに、すべてのオブジェクトがHSQL一時データベースストレージに移動されます。map/reduce 関数の最後に、残りのレコードはすべてオフロードされます。通常、残りのレコード数はしきい値より少なく、このオフロードもログに記録されます。

    		 オフロード制限がスコアのしきい値を超えた回数:275

    オフロード制限がスナップショットのしきい値を超えた回数:0

    オフロード制限が個別値のしきい値を超えた回数:0

    しきい値を超えなかったレコードのオフロードバッチ:1
    インジケーターソース用に新しく収集された結果の保存を開始します。 インジケーターソース Incidents.Resolved の収集された結果の保存
    null 値を持つインジケーターはすべてログに記録されます。 保存された「値がない時の値」:インジケーターのスコアとして 0.0:ナレッジによって回避されたインシデントの数
    結果の保存を完了します。 保存されている収集結果
    データ コレクタがスコアを収集しないインジケーターを指定します。 インジケーターの収集ではありません：オープンインシデントの合計経過時間除外されたブレークダウン付き：アサイン先グループ
    その期間のインジケーター ソースのデータ収集を完了します。 インジケーターソースの20200519のコレクション Incidents.Open が終了しました
    インジケーターに設定された追加条件を処理するためにレコードに費やされた平均時間を表示します。 各レコードの追加インジケーター条件の処理に要した平均時間:138 ミリ秒

    map/reduce 関数の手順

    収集ジョブのステップ 結果のログ エントリの例
    マップ/低減機能が実行されます。 インジケーターソース Incidents.Open のマップ/低減機能を適用しています。
    ジョブに対してテキストインデックス作成がアクティブであるが、テキストインデックス構成が見つからないか無効であるために実行できない場合は警告します。 テキストインデックス設定がないか、無効であるため、テキストインデックスの収集をスキップしています
    インジケーターソースの各レコードを処理してスコアを計算します。ログメッセージは、処理されたレコードの累計を追跡します。

    結果のスコアまたはスナップショットの数が制限を超えるたびに、すべてのオブジェクトがHSQLデータベースにオフロードされます。オフロードは、map/reduce 機能の完了後にログに記録されます。

    各レコードの処理には、次のものが含まれます。

    • スクリプトを実行または評価します。
    • インジケーター条件を検証します。
    • インジケータースコアを計算します。
    • 各ブレークダウンについて：
      1. ブレークダウン スコアを計算するか、ブレークダウン スクリプトを実行します。
      2. すべてのブレークダウンの一意の値を取得します。
      3. スコアまたはスナップショットの配列を作成または更新します。アレイは 、インジケーター、ブレークダウン 1、アーティファクト 1、ブレークダウン 2、アーティファクト 2、ドメイン、値、[sys_id] のアレイです。
    		 15.8% (3) 件のレコードを処理
    31.6% (6) 件のレコードを処理
    47.4% (9) 件のレコードを処理
    63.2% (12) 件のレコードを処理
    78.9% (15) レコードを処理
    94.7% (18) レコードを処理
    処理済み 100% (4) レコード、結果オブジェクトサイズ: 20 MB
    マップ/低減機能が完了します。 適用されたマップ/低減関数