最適化されたデータコレクターのログの詳細

Tokyo リリース以降、最適化された新しいデータコレクターを利用できます。このデータコレクターのログの詳細は、従来のデータコレクターのログの詳細とは異なります。

コレクションの概要

データ収集ジョブでは、データ コレクタを使用する各インジケーター ソースに対して SQL クエリを実行します。クエリは、開始日から終了日までのすべての収集時間に対して繰り返されます。その後、次のインジケーターソースに対してクエリが実行されます。クエリを実行する各ステップは、データ収集ジョブログに記録されます。

図 : 1. データ収集ジョブの概要ビュー

収集ジョブの開始および完了

ログメッセージに表示されるデータ収集プロセスに従います。各サブプロセスのログメッセージは、それぞれ独自のテーブルに分離されています。

注:

このログは、「 データ収集の最適化」で説明されているように最適化された HSQL データコレクター用です。com.snc.pa.dc.hsqlが「false」の場合は、クラシックデータコレクターを使用しています。それ以外の場合は、最適化されたデータコレクターを使用しています。そのログの詳細については、「 クラシックデータコレクターのログ詳細」を参照してください。

収集ジョブステップ	結果のログ エントリの例
収集ジョブの [ユーザーとして実行] のドメインを表示します。	ユーザー <admin> はドメイングローバルに属しています
収集が開始されます。ジョブ開始は、スコア、テキストインデックス、またはその両方を収集するかどうかを指定します。メッセージには、最適化された HSQL データコレクターが使用されていること、およびデバッグログが有効になっているかどうかも示されます。デバッグログを有効にできるのは カスタマーサービス & サポート のみです。	スコアとテキストインデックスの両方の収集を開始します。システム内のプロパティの値: HSQL データコレクターの使用:true デバッグログが有効:true ノード名:vsr007
スコアが収集されるドメインを表示します。ドメインに関するその他の関連する詳細も表示します。	DomainConfig:ドメイン構成収集ログのテスト:3d359877b77000106886e664de11a97c、タイプ:conditions、RollUpType:roll_up_children、collectAggregate? はい、collectChildren?: はい、AggregateDomain: 名前:3d359877b77000106886e664de11a97c:SysID:d1659c77b77000106886e664de11a91e、ドメイン:デフォルト、MSP、ACME、Cisco、Initech、Oceanic Airlines
ジョブがデータを収集するインジケーターソースを、一意の ID を含めて一覧表示します。	収集するインジケーターソース:Incidents.New:b54f2c23d7030100b96d45a3ce61032f、Incidents.Open:b5cf2c23d7030100b96d45a3ce6103cc、Incidents.Closed:2ac8dd31ff2302001e68ffffffffff3d、Incidents.Resolved:4c207c23d7030100b96d45a3ce610308
ジョブに関連付けられた各インジケーターと、データ収集に関連するインジケータープロパティを一覧表示します。 レコードは スナップショットに収集されますか? ブレークダウンは除外されていますか? インジケーターソースの収集期間は上書きされていますか? ブレークダウンマトリクスは収集されていますか? ブレークダウンマトリクスが収集された場合、ブレークダウンの組み合わせは除外されますか?	JobIndicator:オープン中のインシデントの数:de537dc3d7131100b96d45a3ce610305 ジョブインジケータープロパティ: collectIndicator?:はい、BreakdownCollectionType:WITH_EXCLUDE 除外されたブレークダウン:アサイン先グループ、ステータスインジケータープロパティ => CollectingRecords:はい、上書きされました 収集期間:いいえ、スクリプト化されましたか?:いいえ、ブレークダウンの組み合わせですか?:はい、除外されたブレークダウンの組み合わせ:組み合わせが除外されていません。
各インジケーターソースのステップを反復する	各 インジケーターソースに対して繰り返されるステップの表を参照してください。
データ収集ジョブの統計情報を表示	統計情報:挿入 184、更新 0、削除 92、エラー 0、警告 0
ジョブを完了	収集が終了しました

インジケーターソースごとに反復されたステップ

収集ジョブステップ	結果のログ エントリの例
インジケーター ソースを取得します。	インジケーターソース Incidents.Open を処理しています。
最適化された HSQL データコレクターが使用されていることを繰り返します。
インジケーターソースから継承された条件に加えて、追加の条件を持つインジケーターを一覧表示します。	インジケーター:アドミンログイン:[インジケーターのsys_id]、追加条件:ref_isc_login_event.login_type=login_admin、レコードの収集:true
収集期間ごとにステップを繰り返します。	表を参照してください 収集期間ごとに繰り返されるステップ
次のインジケーターソースを取得します。	処理インジケーターソース Incidents.New

収集期間ごとに繰り返されるステップ

収集ジョブステップ	結果のログ エントリの例
収集ジョブの開始日。	インジケーターソース Incidents.Open での20191103の収集
次のフィールドをフェッチします。 ブレークダウンソースの一意のフィールド (通常は sys_id) ブレークダウンマッピングで使用されるインジケーターフィールド スクリプト化されたブレークダウンマッピングで使用されるテーブルフィールド テキストインデックスが収集される場合、テキストアナリティクスで使用されるインジケーターソースフィールド (通常はshort_descriptionを含む)	「インシデント」から「short_description、sys_id、opened_at、assignment_group、説明、優先度、カテゴリ」を取得しています
インジケーター ソースで指定されている条件に基づいて SQL を生成します。 注: インジケーター ソースがいずれかの条件で今日を指定している場合、今日はデータ収集ジョブが実行される期間に関連して考慮されます。たとえば、Incidents.New インジケーター ソースには、条件 [オープン][次の値に等しい (=)][今日] が含まれています。2019 年 10 月 28 日のデータが収集されると、07:00:00 に開始するように定義された日の場合、ジョブは右側に SQL スクリプトを生成します。	SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07:00:00' AND task0.'opened_at' <= '2019-10-29 06:59:59')
SQL によってフェッチされたレコードの数を表示します。	インジケーターソース Incidents.Open から 150 行をフェッチしました (ファクトテーブル:インシデント)
以前の結果を削除します。	インジケーターの以前の結果 1 を削除しました:代理操作
map/reduce 関数を実行してインジケータースコアを計算します。	map/reduce 関数のステップの表を参照してください
テキスト インデックス作成がアクティブで、インジケーター ソース用に設定されている場合、データ コレクタは結果のテキスト インデックスを格納します。	インジケーターソース Incidents.Open のテキストインデックスを保存中
	Incidents.Open のテキストインデックス 41,984 に使用されるバイト
次のいずれかのしきい値を超えると、オブジェクトは HSQL データベースにオフロードされます。 スコア数 スナップショットの数 個別のカウント値の合計数 オブジェクトのカテゴリごとにオフロード制限を超えた回数をログに記録します。1 つのカテゴリでオフロード制限を超えるたびに、すべてのオブジェクトが HSQL 一時データベースストレージに移動されます。map/reduce 関数の最後に、残りのレコードがオフロードされます。通常、残りのレコード数はしきい値を下回り、このオフロードもログに記録されます。	オフロード制限がスコアのしきい値を超えた回数:275 スナップショットのオフロード制限がしきい値を超えた回数:0 オフロード制限が個別の値のしきい値を超えた回数:0 しきい値を超えなかったレコードのオフロードバッチ:1
インジケーターソースに対して新しく収集された結果の保存を開始します。	インジケーターソース Incidents.Resolved に対して収集された結果の保存
null 値を持つインジケーターはすべてログに記録されます。	保存された「値がない時の値」:インジケーターのスコアとして 0.0:ナレッジによって却下されたインシデントの数
結果の保存を終了します。	保存されている収集結果
データ コレクタがスコアを収集しないインジケーターを指定します。	インジケーターの収集ではありません：オープンインシデントの合計経過時間除外されたブレークダウン付き：アサイン先グループ
その期間のインジケーター ソースのデータ収集を完了します。	インジケーターソース Incidents.Open の 20200519 の収集が完了しました
インジケーターに設定された追加の条件を処理するためにレコードに費やされた平均時間を表示します。	各レコードの追加インジケーター条件の処理に要した平均時間:138 ミリ秒

マップ/低減関数のステップ

収集ジョブステップ	結果のログ エントリの例
マップ/低減機能が実行されます。	インジケーターソース Incidents.Open のマップ/低減機能を適用しています。
ジョブに対してテキストインデックス作成がアクティブであるが、テキストインデックス構成がないか無効であるために実行できない場合に警告します。	テキストインデックス設定がないか、無効であるため、テキストインデックスの収集をスキップしています
インジケーターソースの各レコードを処理してスコアを計算します。ログメッセージは、処理されたレコードの累計を追跡します。 結果のスコアまたはスナップショットの数が制限を超えるたびに、すべてのオブジェクトが HSQL データベースにオフロードされます。オフロードは、map/reduce 関数が完了した後にログに記録されます。 各レコードの処理には次のものが含まれます。 スクリプトを実行または評価します。 インジケーター条件を検証します。 インジケータースコアを計算します。 各ブレークダウンについて： ブレークダウン スコアを計算するか、ブレークダウン スクリプトを実行します。 すべてのブレークダウンの一意の値を取得します。 スコアまたはスナップショットの配列を作成または更新します。アレイは、インジケーター、ブレークダウン 1、アーティファクト 1、ブレークダウン 2、アーティファクト 2、ドメイン、値、[sys_id] のアレイです	処理済み 15.8% (3) 件のレコード
	処理済み 31.6% (6) 件のレコード
	処理済み 47.4% (9) 件のレコード
	63.2% (12) 件のレコードを処理しました
	78.9% (15) 件のレコードを処理しました
	94.7% (18) 件のレコードを処理しました
	100% (4) 件のレコードを処理済み、結果オブジェクトサイズ: 20 MB
マップ/削減関数が完了します。	適用されたマップ/低減関数

関連概念

• データ収集の最適化

関連タスク

• データ収集ジョブ履歴の表示