Le problème de la confiance dans l'échec des tests d'IA

Dans le sondage 2025 de Stack Overflow auprès des développeurs84 % des développeurs ont déclaré utiliser ou prévoir d'utiliser des outils d'IA dans leur flux de travail, contre 76 % l'année précédente. Dans cette même enquête, 46 % ont indiqué se méfier de la fiabilité des résultats produits par ces outils, contre 33 % qui leur font confiance.  

L'adoption a augmenté, la confiance a diminué, simultanément. 

Il ne s'agit pas d'une phase transitoire. C'est ce qui se produit lorsqu'un grand nombre de personnes qualifiées utilisent un outil suffisamment longtemps pour le calibrer. 

Le paradoxe de la confiance est une réponse rationnelle 

DORA 2025 de Google Le rapport a mis en évidence la même division sous un angle différent : plus de 80 % des développeurs ont déclaré que l’IA avait accru leur productivité, tandis que 30 % ont exprimé peu ou pas de confiance dans le code qu’elle génère. Utile et peu fiable ne sont pas incompatibles, et les développeurs ont pris en compte les deux. 

Les personnes les plus expérimentées sont les plus sceptiques. Les données de Stack Overflow montrent que les développeurs les plus expérimentés affichent les taux de confiance les plus faibles et les taux de méfiance les plus élevés. Il est important d'en tenir compte, car ce sont ces mêmes personnes qui évalueront toute solution d'IA présentée à une équipe d'ingénierie, et une réponse qui semble péremptoire ne les convaincra pas. 

L'analyse des défaillances est le domaine où le scepticisme bon marché devient coûteux. 

Dans le flux de travail des développeurs, la plupart des IA ne nécessitent qu'une vérification rapide. Si une suggestion de code est erronée, on le découvre vite, et cela ne prend que quelques minutes. 

Le tri des échecs de tests ne fonctionne pas ainsi. Lorsqu'un problème survient, il ne s'agit pas seulement d'identifier la cause, mais aussi la couche défaillante : l'application, le script d'automatisation, le périphérique ou l'environnement. La réponse détermine qui prend en charge la tâche. Une erreur d'identification ne se traduit pas seulement par une perte de quelques minutes ; elle entraîne l'attribution d'un défaut à la mauvaise équipe, le gaspillage d'un cycle de travail et le retour au point de départ, avec une journée de perdue. 

Les signaux sont déjà là. Tout ce qui est nécessaire pour expliquer la panne est enregistré lors de l'exécution : script, journaux de l'appareil, journaux côté serveur, bref, tout ce que l'application a enregistré pendant son arrêt. Les preuves sont là ; c'est l'analyse qui fait défaut. C'est pourquoi il incombe toujours à une personne d'ouvrir les fichiers, de sélectionner les quelques centaines de lignes pertinentes et de les extraire. 

Si une analyse logicielle est effectuée, le niveau d'exigence doit être plus élevé que « généralement correct ». Il faut que ce soit fiable. La question n'est pas de savoir si le modèle est précis, mais si le système peut vous présenter son fonctionnement de manière suffisamment claire pour que vous puissiez vous faire votre propre opinion. 

Un score de confiance devrait mesurer les preuves 

La plupart des scores de confiance des produits d'IA mesurent une chose erronée : le degré de certitude apparent du modèle. Les modèles de langage excellent à paraître sûrs d'eux. Ce score indique la fluidité de la réponse, et non sa justesse. 

Un meilleur score reflète la pertinence des preuves. Il devrait augmenter lorsque plusieurs sources distinctes convergent vers la même défaillance. Il devrait également augmenter lorsqu'un message d'erreur clair est fourni, plutôt qu'une simple supposition basée sur un délai d'attente, et lorsqu'il est possible de retracer la séquence des événements, de l'élément déclencheur à la défaillance finale. 

Et cela devrait se produire lorsqu'une source de journalisation est manquante, lorsqu'une seule source appuie la conclusion, ou lorsqu'une autre explication ne peut être exclue. 

 

La confiance comme mesure de corroboration — ce qui fait monter le score, ce qui le fait baisser et comment les groupes lisent. 

Le signe révélateur est de savoir si le nombre baisse un jour. 

Un système de notation qui ne signale jamais un faible niveau de confiance n'est que du décor. Si toutes les analyses donnent des résultats élevés, le score ne mesure rien. Un score fiable baisse lorsque les données sont insuffisantes : lorsqu'une source de données est manquante, il le signale au lieu de combler cette lacune. 

Personne ne souhaite montrer l'écran où l'outil affiche un message d'incertitude. Pourtant, c'est l'écran que les ingénieurs privilégient, car il correspond au déroulement réel des investigations. Un outil qui reconnaît son incapacité à répondre indique simplement qu'il a ses limites, et on peut lui faire confiance dans ces limites. 

Trois questions à poser à tout fournisseur, y compris à nous. 

Tous les fournisseurs de solutions d'automatisation des tests affirment désormais que leur IA explique les échecs. Ce n'est pas l'affirmation en elle-même qui fait la différence, mais les preuves qui la sous-tendent. Trois questions permettent de les départager rapidement : 

• « Si l’analyse est erronée, comment le saurai-je ? » Si la seule réponse possible est « vous mèneriez l’enquête vous-même », l’outil n’a pas simplifié l’enquête, il y a simplement ajouté une étape. 

• « Montrez-moi un résultat peu fiable. » Il ne s'agit pas d'une version soigneusement sélectionnée. Si aucun élément de l'environnement de démonstration n'obtient une mauvaise note, demandez ce qu'il faudrait pour en créer une. 

• «Que disait réellement l’analyse ?» C'est ce point qui importe le plus, et c'est pourquoi l'intégration de journaux dans un modèle générique a ses limites. Ce modèle ne prend en compte que les données exportées. Une analyse est limitée par ses entrées, et il est essentiel de les connaître. 

Le passage 

La question pertinente concernant l'IA dans les tests a évolué, tout comme le rôle qu'on lui confie. Il n'a jamais été question d'exclure l'ingénieur du processus de décision. Nommer la couche relève du jugement et a des conséquences réelles ; or, le jugement doit rester du ressort de l'humain. 

Ce qui ne devrait pas rester humain, c'est la lecture. Ouvrir les documents, déterminer quelles quelques centaines de lignes sont pertinentes, reconstituer la séquence : voilà le travail que le logiciel devrait prendre en charge, afin que la personne qui décide puisse commencer avec les preuves rassemblées plutôt que de passer un après-midi à les rassembler. 

C'est aussi pourquoi une baisse du score est importante. Un indice de confiance qui diminue en cas d'absence de source de journalisation signifie que le système reprend la décision : cette opération nécessite votre intervention. Un outil qui ne réagit jamais ainsi ne permet pas à un humain de contrôler la situation. Il espère simplement que personne ne vérifiera. 

Personne ne fait confiance à un modèle simplement parce qu'il a été décrit comme fiable. On lui fait confiance parce qu'on en a vu suffisamment pour se faire sa propre opinion.  

Là où cela se rattache à ce que nous construisons. Analyse des causes profondes basée sur l'IA dans Digital.ai L'outil de test analyse les échecs de tests Appium sur iOS et Android à partir des artefacts d'exécution et renvoie une cause probable, un score de confiance basé sur la concordance des preuves, ainsi que la ligne de journal ou l'étape spécifique concernée. Le score de confiance diminue lorsque les données sont peu nombreuses. Ce comportement est intentionnel. 

Voir Plus Digital.ai Test Premium.

Sources et références 

Dépassement de pile, Enquête auprès des développeurs 2025 — Section IA — 84 % utilisent ou prévoient d’utiliser des outils d’IA, contre 76 % auparavant ; 46 % se méfient de la précision des résultats de l’IA, contre 33 % qui lui font confiance ; la méfiance est la plus forte parmi les développeurs les plus expérimentés (20.7 % se disent « très méfiants »). 

Google Cloud / DORA, État du développement logiciel assisté par l'IA en 2025 — Plus de 80 % affirment que l'IA a augmenté leur productivité ; 30 % déclarent avoir peu ou pas confiance dans le code généré par l'IA.