Rapport comparatif des 4 meilleurs outils de test iOS

iOS et Android sont les deux géants du marché des systèmes d'exploitation mobiles. Si Android domine le marché grâce à son importante part de marché, iOS mise sur un design haut de gamme. Cette intégration poussée des appareils iOS s'explique par l'écosystème fermé d'Apple, où matériel et logiciel sont étroitement liés. Cela confère à Apple un contrôle optimal sur le cycle de vie complet de ses produits, malgré la disponibilité de nombreux outils de test iOS open source.

Le marché des appareils mobiles iOS est en constante augmentation. Selon Globalstats StatcounterEn mars 2020, le système d'exploitation mobile iOS détenait une part de marché de 27.03 %, contre 22.4 % en mars 2019. La simplicité, la facilité d'utilisation, les performances fiables, l'interface intuitive et attrayante, ainsi que les mises à jour régulières sont les principaux atouts qui expliquent la popularité croissante d'iOS.

L'App Store d'Apple est mieux sélectionné et accorde une plus grande importance à la qualité des applications. Avec moins de publicités, une interface épurée et des fonctionnalités attrayantes, l'App Store d'Apple se distingue. Toute application développée pour les appareils iOS est soumise à des procédures et des contrôles rigoureux afin d'être à la hauteur de cette réputation. Par conséquent, les développeurs doivent tester minutieusement leurs applications avant de les soumettre à l'App Store d'Apple.

Voici les 4 meilleurs outils de test iOS qui aident les développeurs à respecter les normes de l'Apple Play Store.

Cette analyse des outils de test iOS couvre 4 aspects principaux :

1. Présentation de chaque outil
2. Popularité
3. Avantages et inconvénients
4. Qui devrait l'utiliser?

1) Appium

Appium est un framework de test d'automatisation mobile populaire, multiplateforme et multi-technologies, disponible en open source. Développé par Dan Cuellar en 2011 en C#, Appium s'appelait initialement iOSAuto. Il a été proposé en open source pour la première fois en 2012. Racheté par Sauce Labs en 2013, il a été réécrit avec Node.js. L'architecture client-serveur d'Appium utilise le protocole JSON Wire pour la communication via une API RESTful. Il permet d'écrire du code de test dans de nombreux langages de programmation tels que Python, Ruby, C#, Java, PHP, JavaScript et Robot Framework. Outil de test multiplateforme, Appium assure une intégration transparente entre plusieurs plateformes pour les tests d'automatisation. Initialement disponible en ligne de commande (CLI), Appium est désormais disponible sous forme d'application de bureau avec une interface graphique (GUI). téléchargé depuis le site web d'AppiumAppium prend en charge les tests d'applications web, natives et hybrides sur iOS, Android, Windows et autres distributions Linux.

Popularité: Élevé.

Facilité d'utilisation: Niveau de difficulté : Moyen. Des connaissances en programmation sont nécessaires pour l’utiliser et exécuter les tests.

Avantages et inconvénients d'Appium

Avantages

Appium est très populaire dans le milieu des tests iOS car il permet d'écrire des cas de test dans plusieurs langages pour tester les applications web, natives et hybrides, et d'utiliser le même code pour les plateformes iOS et Android avec des modifications minimes. L'infrastructure de test s'intègre facilement et il est aisé de passer d'un framework à l'autre. Appium prend en charge les émulateurs, les simulateurs et les appareils physiques. La possibilité de tester en dehors de l'application, par exemple en passant un appel ou en envoyant un SMS, est un atout majeur. Appium bénéficie d'une communauté importante et dynamique, toujours disponible pour apporter son aide et ses mises à jour.

Inconvénients

Bien qu'Appium offre des performances robustes et fluides sur de multiples plateformes, son utilisation a un coût. La prise en main est complexe. Une connaissance de base d'Appium est indispensable pour installer le logiciel et configurer ses paramètres. Il est également nécessaire de comprendre les structures d'objets pour utiliser d'autres frameworks natifs iOS. La dépendance à RemoteWebdriver ralentit l'exécution. La rétrocompatibilité représente également un défi. La reconnaissance d'images est perfectible. Des problèmes de stabilité ont été constatés lors du passage à l'échelle.

Qui devrait l'utiliser?

Appium est particulièrement utile pour les équipes d'assurance qualité qui travaillent sur des appareils Android et iOS.

2) XCUITest

XCUITest est un framework de test d'interface utilisateur développé par Apple. XCUITest permet d'automatiser les tests mobiles pour les applications iOS. Lancé en 2015, il s'agit d'une extension du framework de test général XCTest pour applications Apple, intégré à l'IDE Xcode. Contrairement à XCTest, conçu pour les tests en boîte blanche, XCUITest est destiné aux tests en boîte noire, n'ayant pas accès à l'API ni aux données de l'application testée. Vous pouvez écrire vos tests en Swift ou en Objective-C. Depuis la version 7 d'Xcode, ce framework est entièrement intégré à l'IDE.

Popularité: Haute

Facilité d'utilisation: XCUITest est très facile à utiliser et à intégrer à votre IDE. Il utilise le même langage de programmation que celui utilisé pour le développement d'applications Apple.

Avantages et inconvénients de XCUITest

Avantages

XCUITest est un framework de test natif, ce qui garantit une intégration optimale à l'environnement et une exécution rapide et fiable des tests. Le code de test est écrit en Swift/Objective-C, le même langage utilisé par les développeurs Apple. Ainsi, testeurs et développeurs travaillent en parfaite harmonie et collaborent efficacement. Son intégration au pipeline CI/CD simplifie la gestion de vos pipelines de développement. Grâce à son intégration étroite avec Xcode, vous pouvez écrire du code avec des méthodes, des sous-classes et des assertions. De plus, sa prise en main est immédiate. L'enregistrement des tests d'interface utilisateur est disponible.

Inconvénients

Il ne prend en charge que les tests d'applications natives. Vous ne pouvez écrire des tests qu'en Swift et Objective-C ; Java, Python ou Ruby, pourtant très répandus, ne sont pas compatibles. Les tests multiplateformes ne sont pas pris en charge. Vous devez donc écrire des tests distincts pour les applications Android et Windows. Les tests hors application ne sont pas disponibles.

Qui devrait l'utiliser?

XCUITest est particulièrement adapté aux tests boîte noire pour les applications iOS, généralement au sein des équipes de R&D.

3) Calebasse

Calabash est un framework open source d'automatisation des tests mobiles développé par Xamarin. Calabash permet d'effectuer des tests d'acceptation d'interface utilisateur automatisés pour les plateformes iOS et Android. Le langage de développement piloté par le comportement (BDD) Cucumber est utilisé pour écrire le code de test. Grâce à sa compatibilité multiplateforme et multitechnologique, il est possible de tester simultanément des applications natives, web et hybrides sur des centaines d'appareils iOS et Android, tout en obtenant un retour d'information en temps réel. La prise en charge des langages natifs garantit la compréhension des tests par les équipes QA et de gestion non techniques. Les tests Calabash sont écrits en Gherkin, basé sur Ruby.

Popularité: Car cet outil est désormais obsolète.

Facilité d'utilisation: Très facile à utiliser. Il suffit d'écrire vos tests en Cucumber, qui utilise un langage simple et clair.

Avantages et inconvénients de la calebasse

Avantages

Calabash utilise Cucumber pour écrire les tests. Ainsi, même sans connaissances en programmation, vous pouvez comprendre et écrire du code de test. Il prend en charge les tests iOS et Android, ainsi que les tests d'applications web, natives et hybrides, et offre des retours et des validations en temps réel. Calabash prend en charge de manière approfondie les tests gestuels. Il permet des interactions automatiques avec l'interface utilisateur au sein de l'application, ce qui est très pratique lors de son exécution sur des appareils réels. Il est compatible avec les simulateurs, les émulateurs et les appareils physiques. Vous pouvez intégrer Calabash à des frameworks CI/CD tels que Jenkins.

Inconvénients

Xamarin a cessé le développement actif de Calabash en 2017.wing to La popularité croissante des frameworks de test natifs iOS et Android tels que XCUITest et Espresso, ainsi que l'essor d'Appium en tant que solution multiplateforme, expliquent cette situation. Le support communautaire reste limité. Ce framework est uniquement compatible avec Cucumber et JUnit. L'absence d'enregistreur de tests signifie qu'aucun code n'est généré par l'outil.

Qui devrait l'utiliser?

Les équipes d'assurance qualité travaillent sur plusieurs plateformes telles que iOS et Android.

4) Kif

Kif est un framework open source d'automatisation des tests d'intégration mobile, développé en 2011 par Square pour les applications iOS. Kif est l'abréviation de KeepItFunctional. Square l'a conçu avec l'idée qu'un framework de tests d'intégration d'interface utilisateur devait être facile à configurer et utiliser le même langage que celui utilisé pour le développement des applications. Kif permet ainsi d'écrire du code de test en Swift et Objective-C. Son intégration aux environnements CI/CD tels que Jenkins se fait via Waxsim. Il utilise les cibles de test standard XCTest pour exécuter les tests.

Popularité: Low

Facilité d'utilisation: Facile à utiliser grâce à sa courbe d'apprentissage minimale

Avantages et inconvénients du Kif

Avantages

Kif est populaire dans la communauté iOS car il utilise le même langage, Swift/Objective-C, que les développeurs iOS. Les tests s'exécutent directement dans les sous-classes ou dans XCTestCase. De ce fait, Kif est facile à utiliser pour les développeurs iOS. Avec une courbe d'apprentissage minimale voire nulle, Kif est facile à installer et à utiliser.Les tests s'exécutent plus rapidement. Kif s'intègre directement à Xcode et ne nécessite aucune dépendance externe. Vous testerez ainsi la même application que celle qui sera publiée sur le marché. Nul besoin d'installer de serveurs ou de gestionnaires de paquets externes. Kif est également compatible avec les anciennes versions d'iOS, vous n'avez donc pas à vous soucier des mises à jour.

Kif propose des entrées similaires à celles d'un utilisateur. Kif simule facilement des gestes tels que le balayage plein écran ou le double-tap. Il exploite les fonctionnalités d'accessibilité d'iOS pour les personnes malvoyantes. Ainsi, vous testez l'application comme si un véritable utilisateur l'utilisait. Grâce à son intégration étroite avec Xcode, les fonctionnalités d'Xcode telles que les bots, Navigator et les outils de compilation en ligne de commande sont instantanément disponibles pour Kif. Il vous permet de récupérer une vue et de prendre des captures d'écran en cas d'échec du test.

Inconvénients

Kif ne prend en charge que les tests d'applications iOS. Les développeurs d'applications Android doivent choisir un autre framework pour les tests. Kif ne prend en charge qu'Objective-C et Swift. N'utilisant pas d'API ni de spécification standard, les développeurs travaillant sur d'autres plateformes auront des difficultés à changer de framework. Des forums actifs sont disponibles pour l'assistance, mais ils sont moins performants que ceux d'autres frameworks. Par exemple, contrairement à XCUITest, Kif nécessite de définir un point commun dans les cas de test pour que l'application puisse continuer à s'exécuter après le test, ce qui limite les options de contrôle. De plus, il ne propose pas d'enregistreur de test.

Qui devrait l'utiliser?

Les équipes d'assurance qualité doivent effectuer des tests d'intégration rapides et automatisés sur de véritables appareils iOS.

L'étape suivante, c'est là qu'Experitest intervient. Le DécouvrirTest Continuous Testing Plateforme complète s'intègre à tous les outils de test iOS mentionnés ci-dessusDes pilotes d'automatisation standard aux frameworks de test mobile natifs, en passant par les outils de développement d'applications mobiles, nous vous offrons la possibilité d'exécuter des centaines de tests d'applications web et mobiles en parallèle sur plusieurs environnements iOS réels.  Essayez gratuitement dès maintenant et jugez par vous-même.

Jonny Steiner - Reseaux Sociaux