IA et agents · Qualité logicielle, outil interne mis chez nos clients
TestAutomator : l'agent qui exécute la campagne de tests
Un agent lit le cas de test dans TestRail, pilote le navigateur, trace chaque étape en GIF, conclut, met à jour TestRail et peut ouvrir le bug. 886 tests exécutés pour 182 $.
110tests générés en 1 h, pour 2 $
886tests exécutés en une campagne, pour 182 $
1 GIFpar étape, joint au résultat TestRail
- Contexte
- Qualité logicielle, outil interne mis chez nos clients
- Période
- Depuis 2024, en production
- Notre rôle
- Conception, développement, exploitation
- Stack
Le problème
Les campagnes de tests fonctionnels web coûtent cher, se rejouent mal à chaque version, et les scripts d'automatisation classiques cassent dès que l'interface bouge. Nous voulions un exécutant qui comprenne la consigne plutôt qu'un script qui la répète.
Ce que nous avons fait
- Génération du référentiel de tests à partir des spécifications : extraction des acteurs, reformulation des règles métier en logiques testables, cas de test hiérarchisés et tracés, puis revue humaine.
- Exécution : l'agent récupère les cas dans TestRail, interprète chaque consigne, réalise l'action (clic, formulaire, lecture), adapte son interprétation au contexte de la page.
- Traçabilité : un GIF par étape, une conclusion argumentée, la mise à jour du statut et du commentaire dans TestRail, la création du bug si nécessaire.
- Livraison en conteneur Docker chez le client, avec un port VNC pour regarder le navigateur travailler, et le choix du modèle : API OpenAI ou Anthropic, ou Ollama en local.
Le résultat
110 tests générés en une heure pour 2 $ d'API. Une campagne de 886 tests exécutés pour 182 $. L'agent exécute, l'humain review : c'est de l'agentique mesurée, pas un keynote.
Ce que cela nous a appris. Un agent qui appelle des outils, décide, et laisse une trace : c'est la compétence qui sert ensuite sur tous les autres agents métier.
Un process du même type ?
Parler d’un process