クラシックデータコレクターのログ詳細
パフォーマンスアナリティクス スコア収集は、ここで説明するプロセスに従います。トラブルシューティングを支援するために、ジョブステップとログエントリの間のマッピングが提供されています。
コレクションの概要
データ収集ジョブでは、データ コレクタを使用する各インジケーター ソースに対して SQL クエリを実行します。クエリは、開始日から終了日までのすべての収集時間に対して繰り返されます。その後、次のインジケーターソースに対してクエリが実行されます。クエリを実行する各ステップは、データ収集ジョブログに記録されます。 図 : 1. データ収集ジョブの概要ビュー
ログに表示される最適化プロパティ
データコレクターには、システムプロパティでオンまたはオフにできるいくつかの最適化があります。ジョブログの先頭には、これらのプロパティのステータスが含まれます。
注:
これらの最適化プロパティを、最適化された新しいデータコレクターと混同しないでください。これらのプロパティは、クラシックデータコレクターにのみ適用されます。新しいデータコレクターは、より基本的なレベルで最適化されています。
| 最適化 | 説明 | システムプロパティ |
|---|---|---|
| ネストされたコレクション | フラットマッピングを置き換えて、冗長なオブジェクトを減らします。たとえば、そのインジケーターのすべてのブレークダウンと要素に対して同一のインジケーターオブジェクトを作成するのではなく、インジケーターに対して 1 つのオブジェクトのみが作成されます。 | com.snc.pa.dc.nested_collection デフォルト：true |
| フラッシュスナップショット | ServiceNow AI Platformは、スナップショットをデータベースにオフロードする前に、最大数のパフォーマンスアナリティクス スナップショットをメモリに格納します。 |
com.snc.pa.dc.flush_snapshot_count デフォルト：1000 |
| 個別のカウントにハッシュコードを使用 | 個別のカウント集計を個別の値としてではなくハッシュコードとして格納します。 | com.snc.pa.dc.use_hashcode_for_distinct デフォルト：true |
収集ジョブの開始および完了
ログメッセージに表示されるデータ収集プロセスに従います。各サブプロセスのログメッセージは、それぞれ独自のテーブルに分離されています。
注:
このログは元のデータコレクター用です。インスタンスでこのデータコレクターを使用している場合、システムパラメーター com.snc.pa.dc.hsql は存在し、「false」です。それ以外の場合は、「 データ収集の最適化」で説明されているように最適化されたデータコレクターを使用しています。そのログの詳細については、「 最適化されたデータコレクターのログの詳細」を参照してください。
| 収集ジョブステップ | 結果のログ エントリの例 |
|---|---|
| 収集ジョブの [ユーザーとして実行] のドメインを表示します。 | ユーザー <admin> はドメイングローバルに属しています |
| 収集が開始されます。ジョブ開始は、スコア、テキストインデックス、またはその両方を収集するかどうかを指定します。メッセージでは、データ収集最適化プロパティの設定も指定します。 | スコアとテキストインデックスの両方の収集を開始します。システム内のプロパティの値: フラッシュスナップショット数:1,000 ネストされたコレクション:true 個別のカウントにハッシュコードを使用:true |
| スコアが収集されるドメインを表示します。ドメインに関するその他の関連する詳細も表示します。 | DomainConfig:ドメイン構成収集ログのテスト:3d359877b77000106886e664de11a97c、タイプ:conditions、RollUpType:roll_up_children、collectAggregate? はい、collectChildren?: はい、AggregateDomain: 名前:3d359877b77000106886e664de11a97c:SysID:d1659c77b77000106886e664de11a91e、ドメイン:デフォルト、MSP、ACME、Cisco、Initech、Oceanic Airlines |
| ジョブがデータを収集するインジケーターソースを、一意の ID を含めて一覧表示します。 | 収集するインジケーターソース:Incidents.New:b54f2c23d7030100b96d45a3ce61032f、Incidents.Open:b5cf2c23d7030100b96d45a3ce6103cc、Incidents.Closed:2ac8dd31ff2302001e68ffffffffff3d、Incidents.Resolved:4c207c23d7030100b96d45a3ce610308 |
ジョブに関連付けられた各インジケーターと、データ収集に関連するインジケータープロパティを一覧表示します。
|
JobIndicator:オープン中のインシデントの数:de537dc3d7131100b96d45a3ce610305 ジョブインジケータープロパティ: collectIndicator?:はい、BreakdownCollectionType:WITH_EXCLUDE 除外されたブレークダウン:アサイン先グループ、ステータスインジケータープロパティ => CollectingRecords:はい、上書きされました 収集期間:いいえ、スクリプト化されましたか?:いいえ、ブレークダウンの組み合わせですか?:はい、除外されたブレークダウンの組み合わせ:組み合わせが除外されていません。 |
| 各インジケーターソースのステップを反復する | 各 インジケーターソースに対して繰り返されるステップの表を参照してください。 |
| データ収集ジョブの統計情報を表示 | 統計情報:挿入 184、更新 0、削除 92、エラー 0、警告 0 |
| ジョブを完了 | 収集が終了しました |
インジケーターソースごとに反復されたステップ
| 収集ジョブステップ | 結果のログ エントリの例 |
|---|---|
| インジケーター ソースを取得します。 | インジケーターソース Incidents.Open を処理しています。 |
| インジケーターソースから継承された条件に加えて、追加の条件を持つインジケーターを一覧表示します。 | インジケーター:再アサインされたオープンインシデントの数 - ffb59561ff2302001e68ffffffffff33、他の条件:reassignment_count>0 |
| スコア収集がフラットマッピングを使用するのではなく、ネストされたデータ構造に従っているかどうかを示します。ネストされたコレクションでは、メモリ内に作成される冗長なオブジェクトが少なくなります。 ネストされていないコレクションは、スコアのバッチ処理をサポートします。 |
ネストされたコレクションの使用。 注意 - スコアのバッチ挿入は、ネストされたコレクションではサポートされていません。 |
| 収集期間ごとにステップを繰り返します。 | 表を参照してください 収集期間ごとに繰り返されるステップ |
| 次のインジケーターソースを取得します。 | 処理インジケーターソース Incidents.New |
収集期間ごとに繰り返されるステップ
| 収集ジョブステップ | 結果のログ エントリの例 |
|---|---|
| 収集ジョブの開始日。 | インジケーターソース Incidents.Open での20191103の収集 |
次のフィールドをフェッチします。
|
「インシデント」から「short_description、sys_id、opened_at、assignment_group、説明、優先度、カテゴリ」を取得しています |
| インジケーター ソースで指定されている条件に基づいて SQL を生成します。 注: インジケーター ソースがいずれかの条件で今日を指定している場合、今日はデータ収集ジョブが実行される期間に関連して考慮されます。たとえば、Incidents.New インジケーター ソースには、条件 [オープン][次の値に等しい (=)][今日] が含まれています。2019 年 10 月 28 日のデータが収集されると、07:00:00 に開始するように定義された日の場合、ジョブは右側に SQL スクリプトを生成します。 |
SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07:00:00' AND task0.'opened_at' <= '2019-10-29 06:59:59') |
| SQL によってフェッチされたレコードの数を表示します。 | インジケーターソース Incidents.Open から 150 行をフェッチしました (ファクトテーブル:インシデント) |
| map/reduce 関数を実行してインジケータースコアを計算します。 | map/reduce 関数のステップの表を参照してください |
| テキスト インデックス作成がアクティブで、インジケーター ソース用に設定されている場合、データ コレクタは結果のテキスト インデックスを格納します。 | インジケーターソース Incidents.Open のテキストインデックスを保存中 |
| Incidents.Open のテキストインデックス 41,984 に使用されるバイト | |
| インジケーターソースに対して新しく収集された結果の保存を開始します。 | 保存するスコア:374,842 (遅延評価されたレベル 2 カウントインジケーター個別スコアを除く - ID - 3 つのブレークダウンすべてを含むすべてのインシデント) |
| null 値を持つインジケーターはすべてログに記録されます。 | 保存された「値がない時の値」:インジケーターのスコアとして 0.0:ナレッジによって却下されたインシデントの数 |
| 結果の保存を終了します。 | 保存されたスコア: 1,125,057 |
| 保存されている収集結果 | |
| データ コレクタがスコアを収集しないインジケーターを指定します。 | インジケーターの収集ではありません：オープンインシデントの合計経過時間除外されたブレークダウン付き：アサイン先グループ |
| その期間のインジケーター ソースのデータ収集を完了します。 | インジケーターソース Incidents.Open の 20200519 の収集が完了しました |
| インジケーターに設定された追加の条件を処理するためにレコードに費やされた平均時間を表示します。 | 各レコードの追加インジケーター条件の処理に要した平均時間:138 ミリ秒 |
マップ/低減関数のステップ
| 収集ジョブステップ | 結果のログ エントリの例 |
|---|---|
| マップ/低減機能が実行されます。 | インジケーターソース Incidents.Open のマップ/低減機能を適用しています。 |
| ジョブに対してテキストインデックス作成がアクティブであるが、テキストインデックス構成がないか無効であるために実行できない場合に警告します。 | テキストインデックス設定がないか、無効であるため、テキストインデックスの収集をスキップしています |
| インジケーター ソースを使用するインジケーターとブレークダウンの以前のスコアを削除します。 | インジケーターソース Incidents.Open の以前の結果を削除しています。 |
| インジケーターの以前の結果 38 を削除しました: 外部ログイン | |
| インジケーターの以前の結果 21 を削除しました:ログイン失敗 | |
インジケーターソースの各レコードを処理してスコアを計算します。ログメッセージは、処理されたレコードの現在までの合計とメモリ使用率を追跡します。各レコードの処理には次のものが含まれます。
|
18%% (1) 件のレコードを処理しました。結果 オブジェクトサイズ: 5 MB |
| 42% (2) 件のレコードを処理済み、結果 オブジェクトサイズ: 9 MB | |
| 76% (3) 件のレコードを処理しました。結果オブジェクトサイズ:14 MB | |
| 100% (4) 件のレコードを処理済み、結果オブジェクトサイズ: 20 MB | |
| マップ/削減関数が完了します。 | 適用されたマップ/低減関数 |