ATFのタイムアウトについて

[Fagi]

私は現在ATFの作成を作成と検証に従事しています。

Test stepを構成する際にTime outフィールドにタイムアウト時間(秒)を設定することができ、ATF実行中はタイムアウト時間が設定されているTest Stepが実行されるときにタイムアウト時間内に実行が成功しないとタイムアウトエラーが発生すると認識しているのですがこの認識であっていますでしょうか？

ATF全体で使用できるタイムアウト時間も設定できるかと思いますが、あるTest Stepに設定されているタイムアウト時間とATF全体のタイムアウト時間の関係やタイムアウトエラーが起こる条件なども踏まえてご教授いただければ幸いです。

加えてあるTest Stepがタイムアウトエラーになった場合に、後に設定されているTest Stepはどのような動きになるかご教授いただければと思います。

よろしくお願いいたします。 

[iwai · Accepted solution]

ATF全体で使用できるタイムアウト時間とは、Test StepのTimeoutのデフォルト値600秒（システムプロパティー sn_atf.batch.timeout ）の事でしょうか。

Q ATF実行中はタイムアウト時間が設定されているTest Stepが実行されるときにタイムアウト時間内に実行が成功しないとタイムアウトエラーが発生するか

A その質問は実行してみた結果で何かうまくいかない、もしくは想定外の動作をしているのでしょうか。かんたんに試してどうなるか確認できますので、やってみることお勧めします。
ちなみにタイムアウト設定が効かない(設定画面で非表示になる)Test Stepもあります。またエラーはタイムアウト以外にも様々なエラーを返します。
タイムアウト設定が有効なTest Stepの一覧や、効かない一覧はわからないです。UI PolicyやClientScriptを確認すると複雑な条件判定が組まれているようでした。インスタンスの設定を確認してみてください。

Q ATF全体で使用できるタイムアウト時間も設定できるかと思いますが、あるTest Stepに設定されているタイムアウト時間とATF全体のタイムアウト時間の関係

A 全体で使用できるタイムアウトはデフォルト値です。Test Stepに設定されているタイムアウトはそれを上書きする時間です。ただし全体で使用できるタイムアウトは、Test Step以外にも使われているような記述もあります。例えば次の事例です。ATF テストが過度に大量の結果データ (2 MB 以上の console.logs など) を生成するとタイムアウトになることがあります - 既知のエラー (servicenow.com)

Q あるTest Stepがタイムアウトエラーになった場合に、後に設定されているTest Stepはどのような動きになるかご教授いただければと思います。

A 後続のTest Stepは実行されません。かんたんに試してどうなるか確認できますので、やってみることお勧めします。

タイムアウト関連設定。

• スクリーンショットのタイムアウト。クライアント テスト ランナーでのスクリーンショット キャプチャの試行が数秒でこの値を超えた場合、スキップします。ユーザーは、この値を増やす前に、影響を受けるクライアント システムのパフォーマンス設定とブラウザー キャッシュを確認する必要があります。
• テスト ランナーのタイムアウト。最後の「タイムアウト」秒にテストランナーからのハートビートがない場合、ステータスはオンラインからオフラインに変更されます。このプロパティの値は 120 ~ 1800 の範囲である必要があります。
• ヘッドレスブラウザがタイムアウトする数分前。デフォルト: 1440（Dockerサービスが自動的にシャットダウンするまでの分数）
• Test StepのTimeoutするデフォルトの秒数。システムプロパティーsn_atf.batch.timeout デフォルト  600