モバイルのパフォーマンス テスト: 「速いか?」以上のこと

バッテリーの消耗、メモリ リーク、ネットワーク効率、実際のパフォーマンス低下を検出するための包括的なガイド。

イントロダクション

「パフォーマンステスト」という言葉を聞くと、ほとんどの人はスピードを思い浮かべます。アプリの起動はどれくらい速いでしょうか？画面の読み込みはどれくらい速いでしょうか？しかし、モバイルアプリケーションの場合、スピードは氷山の一角に過ぎません。

アプリは1秒もかからずに起動するかもしれませんが、1時間でユーザーのバッテリーを40%も消費してしまうかもしれません。OSに強制終了されるまでメモリリークを繰り返しながら、滑らかなアニメーションを描画するかもしれません。Wi-Fiでは瞬時に動作しているように感じても、混雑した地下鉄のネットワークでは全く使えなくなるかもしれません。

モバイルパフォーマンステストは多面的な課題です。この記事では、読み込み時間だけにとどまらず、モバイルパフォーマンスを真に定義する4つの柱について詳しく説明します。 バッテリー消費、メモリ管理、ネットワーク効率、 の三脚と 回帰検出すべて現実世界のシナリオに基づいています。

1. バッテリーの消耗：サイレントアプリキラー

それが重要な理由

バッテリー寿命は、スマートフォンユーザーにとって常に最大の懸念事項です。バッテリーを過度に消費するアプリは、どんなに機能が豊富でもアンインストールされます。AppleとGoogleはどちらも、バッテリーを大量に消費するアプリを積極的に排除しています。Androidの「App Standby Buckets」はバックグラウンドアクティビティを制限し、iOSの「Appのバックグラウンド更新」はOSによって速度制限または無効化される可能性があります。

バッテリーの過度な消耗の原因は何ですか?

• 不要なバックグラウンドサービス: Android の公式ドキュメントでは、不要なサービスを実行したままにしておくことは、アプリが犯す可能性のある最悪のメモリ管理ミスの 1 つであり、バッテリー寿命にも直接影響すると明確に警告されています。
• 頻繁なウェイクロック: 必要のないときに CPU または画面を起動したままにします。
• GPSの過度の使用: 大幅な位置情報変更 API を使用する代わりに、継続的に位置情報をポーリングします。
• 最適化されていないネットワーク呼び出し: プッシュ通知や WebSocket の代わりに頻繁にポーリングを実行します。
• メモリチャーンとガベージコレクション: Android の開発者ガイドに記載されているように、頻繁な GC イベントはアプリの速度を低下させるだけでなく、バ​​ッテリーを急速に消耗させます。

バッテリーの消耗をテストする方法

まず、アプリがアイドル状態のときのバッテリー消費量を測定し、ベースラインを確立します。次に、ブラウジング、検索、ストリーミングといった一般的なユーザージャーニーを用いたシナリオベースのテストを実行し、エネルギーへの影響を測定します。アプリを長時間（30分、60分、120分）バックグラウンドで稼働させた状態でテストし、アクティブ使用時の1時間あたり5%未満の消費量など、明確な目標値と結果を比較することを忘れないでください。

Androidでは、Android StudioのEnergy Profilerのようなツールが dumpsys batterystats、Battery Historianは非常に役立ちます。iOSでは、XcodeのEnergy ImpactゲージとInstrumentsのEnergy Logテンプレートで同様の情報を得ることができます。

2. メモリリーク：ゆっくりと進行する毒

それが重要な理由

モバイル端末のRAMには制限があります。Androidはアプリごとにハードヒープサイズ制限を設けており、この制限は端末によって異なります。この制限を超えると、 OutOfMemoryError クラッシュ。iOS はさらに攻撃的です。スワップ ファイルが存在せず、メモリを大量に消費するアプリは OS によって警告なしに終了されます。

メモリリークの一般的な原因

• アクティビティまたはコンテキストへの静的参照: Android のドキュメントでは、これがメモリ リークの最も一般的な原因として具体的に指摘されています。
• 登録されていないリスナーとコールバック: クリーンアップされないイベント リスナー、ブロードキャスト レシーバー、またはオブザーバー。
• ビットマップと画像の管理ミス: サムネイルで十分な場合にフル解像度の画像を読み込む。
• 保持されたフラグメントとビュー参照: ビューが破棄された後も UI 参照を保持します。
• サードパーティライブラリの肥大化: Android の公式ガイダンスで警告されているように、外部ライブラリ コードはモバイル環境向けに書かれていないことが多く、非効率的になる可能性があります。

メモリリークのテスト方法

最も効果的なアプローチは ナビゲートテスト同じ画面を20回以上開閉し、そのたびにメモリがベースラインに戻ることを確認します。これを、アプリを30分以上連続して様々な操作で使用し、メモリの着実な増加を監視する長時間実行テストと組み合わせます。Androidでは、回転テスト（複雑な画面でデバイスを高速回転させるテスト）がアクティビティリークの検出に最適です。バックグラウンド/フォアグラウンドのサイクリング（アプリを50回以上バックグラウンドに出し入れするテスト）でも、保持されたオブジェクトが明らかになります。

Android StudioのメモリプロファイラとLeakCanary（Squareによる自動リーク検出ライブラリ）は必須ツールです。iOSでは、XcodeのInstruments（LeaksテンプレートとAllocationsテンプレート）、そしてMemory Graph Debuggerが同じ目的を果たします。

3. ネットワーク効率：現実世界のための設計

それが重要な理由

ラボテストは、高速で信頼性の高いWi-Fiで行われることが多いです。しかし、実際のユーザーは、混雑したLTE基地局、地方の3Gネットワ​​ーク、あるいは移動中の電車内の不安定なWi-Fiを利用していることが多いです。Googleの調査によると、ページの読み込みに3秒以上かかると、モバイルサイトへの訪問の53%が離脱してしまうことが分かっています。ネイティブアプリにも同じことが当てはまります。

テストする実際のネットワーク条件

「接続」と「切断」という概念を超えて、幅広い範囲でテストする必要があります。高速Wi-Fi、良好なLTE（約20 Mbps、遅延30ミリ秒）、低速3G（750 Kbps、遅延200ミリ秒）、混雑したネットワーク（500 Kbps、遅延500ミリ秒、パケットロス発生）、オフラインに近い状態（50 Kbps、遅延2秒）、そして完全な切断といった状況を想定してテストする必要があります。

何をテストするか

• タイムアウト処理: アプリは 30 秒以上かかるリクエストを適切に処理しますか?
• 再試行ロジック: アプリは指数バックオフを使用して失敗したリクエストを再試行しますか?
• ペイロードサイズ: 不要なデータを転送していませんか？画像は最適化されていますか？
• キャッシング： アプリは冗長なダウンロードを避けるために適切な HTTP キャッシュを使用していますか?
• オフラインモード： ユーザーは接続なしでもコア機能にアクセスできますか?
• ネットワーク遷移: ユーザーがリクエストの途中で Wi-Fi から携帯電話に切り替えるとどうなりますか?

ネットワーク状況をシミュレートする方法

iOSでは、AppleはNetwork Link Conditioner（Xcodeの開発者設定から利用可能）を提供しています。これには、3G、Edge、LTE、Wi-Fi、そして100%ロスのシナリオに対応したプロファイルがあらかじめ用意されています。Androidでは、Charles ProxyやToxiproxyなどのツールを使用してネットワークトラフィックをシェーピングできます。これらのツールを使用すると、自動テスト実行中に人工的なレイテンシ、帯域幅制限、パケットロスを発生させ、現実世界の状況を模倣できます。

4. ローエンドデバイスのテスト：忘れられた大多数

それが重要な理由

Counterpoint Researchによると、スマートフォンの世界平均販売価格は300ドル未満です。ユーザーベースの大部分は、2～3GBのRAM、古いプロセッサ、限られたストレージ容量のデバイスを使用しています。フラッグシップモデルのみでテストを行うと、大多数のユーザーのエクスペリエンスを見失ってしまいます。

ローエンドデバイスの主な違い

ローエンドデバイスはRAMが少ないため、OSがバックグラウンドアプリを強制終了する傾向があります。CPUの速度が遅いと、アニメーションがカクツキ、計算時間が長くなります。ストレージ容量が不足すると、アプリのインストールやアップデートに失敗する可能性があります。古いOSバージョンでは特定のAPIが不足している場合があり、解像度の低い画面ではレイアウトやレンダリングに問題が生じる可能性があります。

ローエンドデバイスのテスト戦略

主力製品に加え、少なくとも2～3台の低予算デバイスを含むデバイスラボを維持管理してください。階層化されたパフォーマンスバジェットを設定します。例えば、主力製品ではアプリの起動時間を1秒未満、ミッドレンジでは2秒未満、ローエンドでは3秒未満とします。CI/CDパイプラインの全階層で回帰テストスイートを実行し、特に制約のあるデバイスでメモリとCPUの使用率をプロファイリングします。

5. パフォーマンス回帰フレームワークの構築

ゴール

パフォーマンスの問題は徐々に忍び寄り、徐々に進行していきます。リリースごとに50ミリ秒のリグレッションが発生しても警告は出ませんが、10回のリリース後にはアプリの速度が500ミリ秒も遅くなってしまいます。解決策は、CI/CDパイプラインに統合された自動パフォーマンスリグレッションテストです。

仕組み

アーキテクチャはシンプルです。CI/CDシステム（Jenkinsなど）がテストランナー（Appiumなど）を起動し、実機またはエミュレータ上でパフォーマンスシナリオを実行します。テストランナーはメトリクス（起動時間、メモリ使用量、バッテリー消費量、フレームレート、ネットワークペイロードサイズなど）を収集し、Prometheusなどのメトリクスストアにプッシュします。Grafanaダッシュボードは時系列の傾向を視覚化し、メトリクスがしきい値を超えるとSlackまたはメールでチームにアラート通知を送信します。

追跡すべき指標

監視すべき主要な指標には、コールド起動とウォーム起動の時間、画面遷移時間、定常状態と長時間使用後のメモリ消費量、アクティブ使用時の1時間あたりのバッテリー消費量、画面あたりのネットワークペイロードサイズ、フレームドロップ率、クラッシュ率などがあります。各指標には明確な閾値を設定する必要があります。例えば、コールド起動は95パーセンタイルで2秒未満、定常状態でのメモリ消費量は150MB未満、アクティブ使用時の1時間あたりのバッテリー消費量は8%未満などです。

絶対値だけでなく傾向も監視する

回帰フレームワークの真の力は、傾向の追跡にあります。単一のデータポイントは問題ないように見えるかもしれませんが、過去6回のリリースでメモリ使用量が毎回5%増加している場合は、問題があります。履歴データを備えたGrafanaダッシュボードは、これらの傾向を可視化し、実用的な情報を提供します。

6. すべてをまとめる：現実世界のシナリオ

現実的な例を見てみましょう。フードデリバリーアプリをテストしていると想像してください。

シナリオ： ユーザーは、混雑した金曜日の夜に注文をします。

条件: 低価格の Samsung Galaxy A14 (4 GB RAM、Android 13)、混雑した LTE (下り 2 Mbps、遅延 500 ミリ秒)、バッテリー残量 30%。

ユーザーフロー: アプリを開く → レストランを閲覧 → メニューを表示 → 商品をカートに追加 → チェックアウト → 注文を追跡します。

各ステップで、それぞれ異なる項目を測定します。アプリ起動時のコールドスタート時間、ブラウジング中のリストレンダリング時間と遅延読み込み画像のパフォーマンス、メニュー表示中のメモリ使用量、アイテム追加時のUI応答性（フレーム落ち）、チェックアウト時の低速ネットワークにおけるAPI応答時間と再試行動作、15分間の注文追跡中のバッテリーへの影響とWebSocket再接続動作、そして最後に、ホーム画面に戻った後にメモリがベースラインに戻るかどうかなどです。

このようなテストから得られる失敗レポートは、非常に実践的です。漠然とした「アプリが遅いように感じる」という報告ではなく、正確なデータが得られます。コールドローンチは前回のビルドから40%の遅延が発生し、チェックアウト時にメモリが200MBを超え、ナビゲーション後にメモリがベースラインに戻らなかったため、メモリリークが発生している可能性があります。一方、バッテリーの消耗、リトライロジック、オフラインカートの持続性、フレームレートはすべて合格です。これは、エンジニアリングチームが問題を迅速に特定し、修正するためのシグナルとなります。

7。 どうやって Digital.ai テストは役に立つ

この記事で紹介した手法（CPU、メモリ、バッテリーのプロファイリング、ネットワークシミュレーション、回帰トラッキング）は強力ですが、大規模に実行するには相当なツール投資が必要です。 Digital.ai テストが始まります。

Digital.ai テスト は、チームが現実世界の状況下で完璧に動作するアプリを提供できるように特別に設計されています。 Digital.ai実際の iOS および Android デバイスで CPU、メモリ、バッテリー、ネットワークの使用状況を測定して、パフォーマンスのボトルネックをユーザーに影響が出る前に早期に把握できます。

主な機能は次のとおりです。

???? 実際のデバイスでパフォーマンストランザクションを記録して再生する — テストが実際のユーザージャーニーを反映していることを確認する

📊 すべてのフローのCPU、メモリ、バッテリー消費量を追跡します — 画面ごとにリグレッションを正確に特定するために必要な可視性を提供します

🌐 制限されたネットワーク状況をシミュレートする — 低速または混雑したネットワークでのみ発生する隠れたボトルネックを検出します

ネイティブ、ハイブリッド、モバイルウェブアプリのテストでも、 Digital.ai CI/CD パイプラインにシームレスに統合され、テスト スイート全体にわたって完全なパフォーマンス カバレッジを提供します。

👉詳細はこちら digital.ai/モバイルパフォーマンステスト

主要なポイント（要点）

1. 速度は単なる一次元にすぎません。 バッテリー、メモリ、ネットワーク、デバイスの多様性も同様に重要です。
2. 実際の条件でテストします。 遅いネットワーク、低性能のデバイス、低バッテリー状態などは、ラボのテストでは決して明らかにならない問題を明らかにします。
3. 自動化して追跡します。 Appium、Prometheus、Grafana などのツールを使用して、CI/CD パイプラインにパフォーマンス メトリックを組み込みます。
4. ベンチマークだけでなく予算も設定します。 さまざまなデバイス層ごとにメトリックごとのしきい値を定義します。
5. 絶対値だけでなく傾向も監視します。 リリースごとに 5% の回帰が発生すると、その影響は急速に大きくなります。
6. 公式のプロファイリング ツールを使用します。 Android Studio Profiler、Xcode Instruments、LeakCanary はあなたの親友です。

Resources

• Android: アプリのメモリを管理する — メモリ管理に関する公式Androidドキュメント
• Apple: アプリのパフォーマンスを向上させる — Appleのパフォーマンス最適化ガイド
• Android エネルギープロファイラー — Android Studioでのバッテリープロファイリング
• リークカナリー— Android 向け自動メモリリーク検出
• Appium ドキュメント— モバイルテスト自動化フレームワーク

モバイル テスト エンジニア、QA リーダー、そしてパフォーマンスがストップウォッチの数字以上のものだと信じるすべての人を対象に書かれています。