ATF Test Generator and Cloud Runnerについて

[Ereshkigal]

ストアアプリ「ATF Test Generator and Cloud Runner」について、

知見のある方にご質問させてください。

私のプロジェクトでは上記アプリをインストールして、

バージョンアップにおける回帰テストの工数削減などの有用性を検証しようと考えております。

DEV環境にインストールして、クラウドユーザを設定し、

プリセットで、運用で使用している以下のテーブルのみ検証されるよう、設定しました。

・インシデント

・インシデントタスク

・問題管理

・問題タスク

・変更管理

・変更タスク

ただし、ATF実行後、UpdateSetが自動生成されており、

中身を確認したところ、Test Suiteは作成されるものの、Test Stepは全て削除されておりました。

Now Supportに問合せしたところ、

Presetの条件に合致しないTestは、生成後削除されるということで、

正常な動作であるとご回答頂いておりますが、ATFで自動生成されるTestの内容については、

Now Supportから公式ドキュメントに記載されていないので、回答できないとありました。

かなり調査に詰まっている状況で、
何を元にTestが自動生成されるのか、知見がある方がおりましたら、ご教示頂けないでしょうか。

よろしくお願いいたします。

[iwai]

Test Stepがすべて削除されている。
Supportの回答は、条件に一致していないため削除している。
どういう条件なのか、どのようなTestが生成されるのかは、ドキュメントがないため回答できない。

まだまだ具体的な状況が見えてきません。テーブルの指定はありますが、それ以外の設定やテーブルの状況がわかりません。

そこの調査は時間がかかりそうなので、
どのように使うと、ATF Test Generatorが使えるのか、どのように使うべきなのかなら、少し参考になる動画がありました。 親切丁寧なガイドではないですが、知見のある人が説明する使い方の助言をいくつか聞くことができます。
ATF Test Generator と Cloud Runner のベスト プラクティス ガイド: ATF ウォークスルー - YouTube

必ず成功するであろう最小限の範囲のテストから動作確認してみて、どうなるのか、どうなったのか、整理して状況を投稿してみると、誰かが何か気づくことがあるかもしれません。

[Ereshkigal]

iwaiさん、ご回答ありがとうございます。

ベストプラクティスや、サポートから無理やり聞き出した内容を元に、

以下の内容でプリセットを設定し、再度実行しましたが、やはり失敗して生成されません。
・テーブルまたは項目あたりのテストの数（Maximum test count）を 2 ～ 3 に設定
・Userを1名のみ（Admin権限付与）
・Tableは、"Change"と"Standard Change Proposal"のみ
・Catalogは、Changeの標準タイプから選択できるテンプレート5件のみ

※サポートから聞き出した内容（和訳）
・テスト ジェネレーターは、テーブルからの既存のデータと、
　サービスカタログで要求された項目を使用する。
・ユーザを変更してすべてのテーブルからサンプルレコードを収集
・生成の実行時に次のループを入力し、それぞれの結果のテストでATFステップを作成
　①フィールド値の設定
　②フィールド値の検証
　③フィールド状態の検証
　④保存/送信
　⑤レコードを検証

サポートからの回答から推察するに、既存のサンプルレコードを元に生成されるようで、
弊社プロジェクトでChangeは非常に改修が多いテーブルとなります。
例として、4月時点で任意入力だった項目が、5月時点では必須入力なので、
フィールド値の設定で不整合が起きていると推察しているのですが、
どこで失敗しているのかわからない以上、なんとも言えないのが現状なのですが、
ServiceNow側でATF自動生成ツールが生成＋実行で失敗している旨が、
確認できるメニューをご存じでしたら、ご教示頂けないでしょうか。

よろしくお願いいたします。

[Ereshkigal]

続けて以下で実行しましたが、やはり失敗で終わります。。
■パターンA
・Maximum test countについて、Table：2、Catalog：1、合計：3で設定
・Userを1名のみ（Itil権限付与）
・TableはIncidentのみ
・ServiceCatalogはなし

■パターンB
・Maximum test countについて、Table：2、Catalog：1、合計：3で設定
・Userを1名のみ（Admin権限付与）
・TableはProblemのみ
・ServiceCatalogは1件（Problemとは別テーブルのRecord Producer）

上記でダメなら、後は既存レコードを追加・削除を試す形になりますが、
未だ削除される原因はわからないままなのですが、どなか気づきなどございましたら、
ご教示頂けないでしょうか。

[iwai]

メニューから Browser Orchestration Queues  を探してみてください。そこで テスト実行の状況を確認できます。

以下は作成に失敗しているのと、作成途中をあらわしています。

失敗した内容を見ると「Processing SNBOQ job failed: No use cases found, nothing to queue」（SNBOQ ジョブの処理に失敗しました: ユースケースが見つからないため、キューに入れるものがありません）どうやら、指定した範囲が狭すぎて何も作れなかったようです。