テストの数を増やすのは簡単だ。しかし、それらを管理するのはますます難しくなっている。

テスト自動化はますます拡大している。チームはAppiumを使ったテストを増やし、その対象範囲を広げており、AIはその成長をさらに加速させている。

しかし、回帰テストの段階になると、本来なら信頼性を高めるはずのテストが、すぐには明らかにならない理由で失敗することがあります。それは実際の欠陥だったのでしょうか？一時的な接続の問題だったのでしょうか？それとも、何週間も信頼性の低いテストだったのでしょうか？

誰かがそれを解明しなければならないし、検査の数が増えれば増えるほど、それには時間がかかる。

課題は単にテストの数を増やすことだけではありません。テストの実行方法を管理し、どの失敗に注意が必要かを把握し、適切なタイミングで適切なフィードバックを得ることが重要です。

問題は必ずしもテストにあるわけではない

数百ものテストを様々なデバイスで実行する回帰テストスイートを考えてみましょう。

いくつかのテストが失敗する。エンジニアは失敗が繰り返されるかどうかを確認するために、テストを再実行する。2回目の試行で合格するものもあれば、引き続き失敗するものもある。その間、重要なテストが実行の早い段階で失敗していたとしても、チームは実行が終了するまでそれに気づかない可能性がある。

これらはどれも特に珍しいことではない。今日では多くのチームがこのようにして自動化を管理している。

JUnitやTestNGといったフレームワークは既にリトライ機能をサポートしていますが、リトライだけではテスト実行に関するあらゆる問題を解決できるわけではありません。どの失敗を優先すべきか、あるいは合格するために繰り返しリトライが必要なテストを容易に特定できるとは限りません。

そして、自動化スイートが拡大するにつれて、これを管理するのはますます難しくなる。

スイートが大きくなるにつれて、なぜこれがより高額になるのか 

企業コードの推定40～50％は現在AIによって生成されている（Digital.aiコードが増えるということは、障害が発生する可能性のある箇所が増えるということであり、それに伴ってテストスイートも大きくなります。 

不安定なテストは大規模になるとよく知られた負担になります。Atlassian は、Jira バックエンド リポジトリの障害の約 15% が不安定なテストによるものであり、その結果として再実行が行われ、年間 150,000 万時間以上の開発者の時間が無駄になっていると報告しています (アトラシアン、2025年). 

まだロケーターと待機時間を調整している場合は、 再試行しても不良ロケーターは修正されない. しかし、信頼性の高いテストを実施できたとしても、チームは実行状況をより良く管理し、失敗を理解し、必要な時にフィードバックを得るためのより良い方法を必要としている。

テストオーケストレーター：テストの実行方法を制御する中間層 

Digital.ai テストには、既存の Appium テストとテストオーケストレーターの中間レイヤーが含まれます。 Digital.ai テストプラットフォーム。Test Orchestratorは、テストの書き方を変えるのではなく、テスト実行時に何が起こるかに焦点を当てています。

注目すべき点が3つあります。

• 自動再試行: テストが失敗した場合は自動的に再試行されるため、断続的な障害と再現性のある欠陥を区別するのに役立ちます。各試行とその結果は常に表示されます。
• 重要なテストに関するフィードバックをより迅速に： チームは重要なテストを特定し、テストが失敗した場合に、全体の実行が完了するのを待つことなく、より早くフィードバックを得ることができます。
• 信頼性の低い検査を特定する： 合格する前に繰り返し失敗するテストは発見しやすくなり、エンジニアは信頼性の低い自動化を調査するためのより明確な出発点を得ることができる。

目標は、すべてのテスト失敗をなくすことではありません。何が起こったのかを理解し、何に注意を払うべきかを判断するのにかかる手作業を減らすことです。

テスト結果は現状のままです 

Test Orchestratorの重要な点の1つは、既存のAppiumテストを書き直す必要がないことです。

これはJavaベースのエージェントで、JARファイルとして配布されます。既存のプロジェクトに、テストの実行方法を定義する中央集約型のYAML設定ファイルとともに追加します。

デバイスの選択、アプリケーションの設定、テストの選択、再試行の動作はすべて、プロジェクト全体に分散させるのではなく、その設定ファイルから管理できます。 MCPまた、Test Orchestratorは、よりスマートな実行管理によって、AIを活用したテストワークフローを拡張します。

AIによってテストの作成が容易になるにつれ、テストの実行管理も同様に重要になってくる。

テスト自動化を最大限に活用する 

テスト回数を増やすことは、カバレッジの向上につながるべきであり、前回の回帰テストが失敗した理由を突き止めるのに時間を費やすことを意味するべきではない。

Test Orchestratorは、自動再試行、重要なテストに対する迅速なフィードバック、信頼性の低い自動化の可視化などを通じて、チームが増大する複雑さを管理できるよう支援します。しかも、既に構築済みのテストを変更することなく、これらの機能を実現します。

ジョブの設定方法については、 GitHubプロジェクトの例 からお進みください.