ATFでのメッセージの検証方法について

[toa1]

初めまして、Toaと申します。
まだまだ知識が浅く初歩的な質問でしたら申し訳ございませんが、表題の内容について皆様のご意見をいただきたく
投稿させていただきました。

[背景]
UI Action より gs.addErrorMessage を用いて出力しているメッセージの内容についてATFで検証するために
コミュニティの下記内容を参考に実装致しました。
https://community.servicenow.com/community?id=community_question&sys_id=5e39e9d0dbf237c023f4a345ca9619bb
ところが、Asset Text on Page (Custom UI) のステップが実行される前に検証したいメッセージが消えてしまい、
想定通り検証することができませんでした。
（テストランナー画面にてメッセージが消えないように操作すると検証可能でした）

[質問内容]
ATF内でメッセージ表示時間のプロパティ(glide.service-portal.notification_timeout.seconds)を編集する案を
考えましたが、ATF実行中に他メンバーのオペレーションに影響が出る可能性があるため、
その対応で良いか悩んでおります。
"このような回避策はどうか"や"そもそもメッセージの検証はすべきではない"など
アドバイスやご意見をいただけますと幸いです。

よろしくお願い致します。

[t_sadahisa · Accepted solution]

Toaさん

こんにちは。
求められている答えではないのですが、
ATFは完全ではなく現在お困りのようなタイミングで失敗するようなケースがたまにあります。

自分の経験から回答すると以下の対策をやると安定して成功したりします。（確実に解決する方法ではないと思います。）

①ATF実行中、テストランナーを表示しているタブ/ウィンドウを表示し続ける（別タブで作業しない）
②ATFテストランナーの設定からスクリーンショットを無効化する もしくは　失敗したときのみ取得にする
※テストランナーを開いたあとに設定できます。下記DOCS後半の記載をご確認ください
https://docs.servicenow.com/bundle/rome-application-development/page/administer/auto-test-framework/concept/atf-screenshot-modes.html
③何度も実行してみる

参考になれば幸いです。

[toa1]

t.sadahisaさん

アドバイスいただきありがとうございます。
また、確認が遅くなってしまい、大変申し訳ございません。

実は①と③は試行してみており、何度やっても正常に処理されませんでした。
また、②は少し考えておりましたが、同時に実行するテストにてスクリーンショットを取得したいものがあり、敬遠してしまっておりました。
今回、t.sadahisaさんからいただきましたアドバイスから上記考えを改め、"スクリーンショットを取得したいテスト"と"スクリーンショットを取得しなくても良いテスト"を別スイートに分けて、テスト実行時の工夫にて解決させたいと思います。

改めて、アドバイスいただきましたt.sadahisaさんに感謝申し上げます。