Avis sur TestMu AI : une IA agentique full stack pour les tests QA

Les tests logiciels sont devenus un processus de plus en plus complexe. On attend des applications qu’elles fonctionnent parfaitement, malgré la nécessité de prendre en charge plusieurs navigateurs, systèmes d’exploitation et appareils. S’attaquer à ce problème de manière traditionnelle prend du temps et exige des compétences approfondies.

Avec des plateformes comme TestMu AI, vous pouvez intégrer des capacités d’IA modernes à chaque étape du cycle de vie des tests. Cette plateforme cloud rationalise les flux de travail complexes en plusieurs étapes et réduit considérablement les coûts et la main-d’œuvre. 

Qu’est-ce que TestMu AI ?

TestMu AI est mieux décrite comme une plateforme d’ingénierie qualité Full Stack Agentic AI. Plutôt que de simplement automatiser des tâches répétitives, elle utilise des agents IA pour générer, exécuter, maintenir et analyser les tests.

Les agents comprennent les bases de code, peuvent planifier des stratégies et prévoir les défaillances avant même qu’elles ne surviennent. Tout ce dont vous avez réellement besoin, c’est de pouvoir saisir des prompts, ce qui rend la plateforme bien plus accessible que les outils d’assurance qualité traditionnels.

Le service complet permet de tester des applications web, mobiles et d’entreprise à n’importe quelle échelle. Cela inclut de vrais appareils, de vrais navigateurs et des environnements réels personnalisés.

De plus, votre pile technologique existante reste intacte grâce à plus de 120 intégrations, dont GitHub, Jenkins et Slack.

Examinons de plus près pourquoi TestMu AI est déjà le choix de plus de 18 000 entreprises clientes, dont Microsoft, OpenAI, NVIDIA, Vimeo et bien d’autres.

Principaux produits

De la génération de tests assistée par IA et des agents de test autonomes à la validation sur de vrais appareils et aux tests multi-navigateurs évolutifs, la plateforme combine quatre produits qui couvrent chaque étape du cycle de vie des tests. Après avoir passé du temps avec chaque composant, voici tout ce que vous devez savoir :

KaneAI – Écrivez des tests en langage naturel

KaneAI est l’agent IA phare de TestMu AI, qui distingue la plateforme des outils d’automatisation de tests traditionnels. Par exemple, au lieu d’écrire manuellement des scripts Selenium ou de créer des flux de travail automatisés à partir de zéro, il vous permet de décrire le test à effectuer en langage naturel.

L’IA convertit ensuite ces instructions en tests automatisés exécutables, réduisant considérablement la quantité de code et les heures consacrées à la configuration manuelle.

Même les membres d’équipe non techniques sans aucune connaissance en programmation peuvent créer des cas de test sophistiqués.

KaneAI s’intègre directement aux solutions Browser Cloud et Real Device Cloud de TestMu AI. Ainsi, le même test peut être exécuté sur des navigateurs de bureau et mobiles, ainsi que sur de vrais appareils Android et iOS. Cela supprime la nécessité de recréer des tests pour différents environnements. De plus, les modules de test courants sont réutilisables, vous n’avez donc pas à recréer les processus de connexion, de navigation, de paiement et autres processus de routine. 

Un autre domaine où KaneAI se distingue est l’intelligence contextuelle. C’est-à-dire qu’il comprend automatiquement un large éventail de ressources et de documentation de projet. Cela inclut le code source, les pull requests GitHub, les documents d’exigences produit (PRD), les tickets Jira, les PDF, les images, l’audio et même la vidéo.

Il assure également sa propre maintenance. Lorsqu’un élément d’interface utilisateur change ou qu’un localisateur se déplace pendant l’exécution, l’agent détecte automatiquement la divergence. Il met ensuite à jour dynamiquement l’étape concernée à la volée, ce qui permet au test de s’exécuter sans échec. 

Bien qu’aucun outil d’automatisation ne puisse éliminer entièrement la maintenance, cette approche devrait réduire la quantité de travail manuel nécessaire à mesure que les applications évoluent.

Un autre avantage est que les tests ne sont pas verrouillés dans un format propriétaire. Vous êtes toujours propriétaire de vos tests et pouvez les exporter en dehors de KaneAI vers Playwright, Selenium, Cypress ou Appium. Cependant, travailler en dehors de la plateforme annule évidemment tous les avantages de l’IA.

Dans l’ensemble, KaneAI apparaît comme bien plus qu’un simple générateur de scripts alimenté par l’IA. Il combine la création de tests en langage naturel, le débogage assisté par IA, la maintenance automatisée et l’exécution dans le cloud en un flux de travail qui simplifie véritablement les tests logiciels modernes.

KaneAI a aussi une contrepartie plus légère qui vaut la peine d’être connue : Kane CLI. C’est un outil gratuit fonctionnant en terminal qui exécute la même création de tests en langage naturel sur votre propre machine, sans nécessiter de session cloud. Plutôt que de remplacer le produit cloud, il est conçu pour les cas où le test cloud est superflu : une vérification locale rapide avant de pousser un commit ou une étape câblée directement dans un job CI. Il est inclus dans chaque plan KaneAI, y compris le niveau Starter, sans coût supplémentaire pour l’utiliser.

La tarification se fait par agent, facturée annuellement, sur trois niveaux :

• Starter à 19 $/agent/mois (2 000 crédits, création locale avec Kane CLI uniquement).
• Pro à 99 $/agent/mois (12 000 crédits, ajoute la création Cloud KaneAI Web).
• Max à 199 $/agent/mois (25 000 crédits, ajoute Cloud KaneAI Mobile en plus de la version Web).
• Enterprise propose des crédits illimités et des conditions personnalisées.

Agent Testing – Testez l’IA avec l’IA

Si vous développez ou intégrez vos propres agents IA, comme des chatbots destinés aux clients, des assistants vocaux, etc., vous avez probablement déjà été confronté aux limites des outils d’assurance qualité traditionnels, à savoir l’incapacité de valider des réponses dynamiques à l’aide de règles fixes. 

Si l’une des solutions consiste à embaucher de nombreux testeurs humains pour se concentrer sur différents scénarios, la fonctionnalité Agent Testing de TestMu AI est conçue spécifiquement pour évaluer la qualité, la précision et la fiabilité des agents IA à une échelle des milliers de fois plus efficace que les humains.

Par exemple, elle peut générer automatiquement de 60 à plus de 100 scénarios de test à partir d’un seul document ou PRD téléversé. Une couverture qui prend des semaines à un testeur humain.

Il propose plus de 15 testeurs IA spécialisés qui exécutent des milliers de scénarios simultanément, couvrant l’hallucination, les biais, l’aveuglement contextuel, les défaillances de ton, la fragilité face aux attaques adversariales et les réponses incomplètes.

Ceux-ci peuvent être appliqués aux chatbots, aux agents vocaux, aux agents d’appels téléphoniques et aux agents d’analyse d’images. 

L’un de ses principaux atouts est l’étendue des métriques d’évaluation. Plutôt que de produire un simple résultat positif ou négatif, TestMu AI fournit 9 métriques pour les agents de chat et vocaux, plus de 30 métriques pour les appels téléphoniques et un score de qualité de 0 à 100 pour les agents d’images. Elles sont toutes reproductibles et permettent d’obtenir des informations exploitables.

De plus, Agent Testing peut être intégré à n’importe quelle étape du cycle de vie, de la validation avant lancement aux tests de régression après les mises à jour de modèles, en passant par la surveillance continue.

Agent Testing est vendu comme un produit sur devis plutôt que sous forme de formules en libre-service publiées. Le tarif est défini en fonction de votre volume de scénarios sur la couverture des agents de chat, vocaux, d’appels téléphoniques et d’images, après un échange avec l’équipe commerciale. Aucun tarif public de crédits PAYG ni prix mensuel de départ fixe n’est publié. 

Real Device Cloud

Par nature, tester sur les appareils réels utilisés par votre public cible est l’approche la plus précise. C’est là que le Real Device Cloud de TestMu AI brille. Il vous donne un accès instantané à plus de 10 000 appareils Android et iOS réels, ainsi qu’à de véritables environnements Windows et macOS, directement depuis votre navigateur. 

Contrairement aux émulateurs, chaque session s’exécute sur du matériel physique, ce qui vous permet de tester votre application dans les mêmes conditions que les utilisateurs réels.

Cela facilite grandement l’identification de problèmes qui n’apparaissent tout simplement pas sur les émulateurs, comme des bogues de rendu spécifiques au matériel, le comportement des capteurs, les particularités du système d’exploitation ou les performances sous une charge système réelle.

L’étendue du matériel pris en charge est tout aussi impressionnante. Aux côtés des derniers iPhone, Samsung Galaxy et Google Pixel, la plateforme inclut également des modèles plus anciens qui restent largement utilisés. Maintenir un tel niveau de couverture d’appareils en interne serait à la fois coûteux et chronophage, mais TestMu AI le rend disponible à la demande sans nécessiter aucune maintenance matérielle.

De plus, elle prend en charge à la fois les tests manuels en direct et les tests entièrement automatisés. Lors d’une session en direct, vous pouvez lancer une application sur un appareil réel et interagir avec elle exactement comme le ferait un utilisateur final. Les flux de travail automatisés sont bien pris en charge par les frameworks populaires, notamment Appium, XCUITest, Espresso et Detox, ce qui permet aux suites de tests mobiles existantes de s’exécuter avec une modification minimale.

Real Device Cloud comprend également plusieurs fonctionnalités de test avancées qu’il serait difficile de reproduire localement. La simulation réseau permet de tester des applications en conditions 2G, 3G, 4G, 5G, avec une bande passante personnalisée ou totalement hors ligne.

Cela permet d’identifier les problèmes qui n’apparaissent que sur des connexions plus lentes ou instables. 

En outre, les tests de géolocalisation prennent en charge plus de 170 pays, ce qui permet de valider facilement les fonctionnalités basées sur la localisation sans se déplacer ni dépendre d’appareils physiques dans différentes régions.

Pour les applications mobiles, j’ai également apprécié la prise en charge des fonctionnalités matérielles spécifiques. L’authentification sécurisée peut être validée à l’aide de Face ID, Touch ID et des capteurs d’empreintes digitales. Par ailleurs, les fonctionnalités de caméra, la lecture de codes QR, les accéléromètres et les gyroscopes peuvent tous être testés sur du matériel réel. 

La possibilité d’installer plusieurs builds d’application et de basculer entre eux au cours de la même session simplifie également les tests de régression pendant le développement en cours.

TestMu AI donne également accès à de véritables environnements Windows 10, Windows 11, macOS Ventura et macOS Sequoia. Cela vous permet de valider des applications web sur les systèmes d’exploitation de bureau que vos utilisateurs utilisent réellement, sans avoir à maintenir des machines de test dédiées.

• Vous pouvez essayer Real Device Cloud gratuitement avec 5 sessions par mois, jusqu’à 2 minutes chacune, sans carte requise.
• L’accès manuel en direct complet sur des appareils réels (Real Device Plus Live) démarre à 39 $/mois, et les tests automatisés sur des appareils réels (Real Device Plus Automation Cloud) démarrent à 199 $/mois, tous deux facturés annuellement.
• (Le forfait Virtual Live de TestMu AI à 15 $/mois repose sur des émulateurs et des simulateurs, et non sur du matériel réel ; il ne s’agit donc pas vraiment du point d’entrée de Real Device Cloud.)

Browser Cloud

Le Browser Cloud fournit une infrastructure de navigateur de niveau production sans la complexité de la gérer vous-même. Que vous testiez des applications, fassiez du scraping de sites web riches en JavaScript ou déployiez des agents IA autonomes, il offre les performances et l’évolutivité nécessaires à toute charge de travail.

Comme le décrit l’entreprise, il s’agit d’« un navigateur évolutif conçu pour que les agents IA puissent scraper, tester et automatiser sans casse-tête d’infrastructure. »

Il prend en charge Claude, OpenAI, Gemini, Cursor et des agents IA personnalisés. Au lieu de gérer des navigateurs locaux ou une infrastructure cloud, les développeurs peuvent lancer des centaines de sessions de navigateur à la demande.

Les sessions de navigateur démarrent en quelques secondes. Elles peuvent durer jusqu’à 24 heures. Plusieurs sessions s’exécutent simultanément sans nécessiter de provisionnement ni de maintenance. Cela rend la plateforme idéale pour les grands projets d’automatisation et les flux de travail reposant sur l’IA.

Un autre avantage réside dans l’utilisation d’une exécution Chrome complète. Chaque page est entièrement rendue avant que l’IA n’interagisse avec elle. Le JavaScript s’exécute normalement, même sur des applications monopages complexes. Les agents reçoivent le DOM entièrement rendu au lieu de réponses HTTP incomplètes. Cela se traduit par une automatisation et un web scraping bien plus fiables.

Browser Cloud comprend également plusieurs fonctionnalités intégrées pour travailler sur le web en direct. Le masquage d’empreinte numérique, la résolution de CAPTCHA et le blocage des publicités aident les agents IA à éviter les interruptions inutiles. Les proxys géociblés couvrent plus de 180 emplacements, ce qui permet d’accéder aux sites web comme si les requêtes provenaient localement.

La persistance des sessions est tout aussi utile. Les cookies, le stockage local et les informations de connexion restent disponibles d’une session à l’autre. Les agents IA n’ont pas besoin de s’authentifier de façon répétée lorsqu’ils accomplissent de longs flux de travail ou reviennent sur des sites web déjà visités.

Chaque session enregistre la vidéo, la sortie de la console du navigateur, l’activité réseau et l’historique des commandes étape par étape. Au lieu d’enquêter sur un processus headless qui a échoué, vous pouvez rejouer exactement ce qui s’est passé et identifier le problème beaucoup plus rapidement.

Browser Cloud résout également un autre défi de développement courant. Son Tunnel intégré permet aux agents IA d’accéder à localhost, aux environnements de préproduction et aux services protégés derrière des VPN ou des pare-feu. Aucun logiciel de tunneling tiers n’est nécessaire, ce qui facilite grandement les tests d’applications internes.

La compatibilité est un autre atout. Browser Cloud fonctionne avec Playwright, Puppeteer, Selenium et d’autres frameworks compatibles avec les SDK. Les projets d’automatisation existants peuvent donc migrer sans être réécrits de zéro.

Browser Cloud est disponible gratuitement avec 100 minutes d’automatisation web à 2 exécutions parallèles. Pour un accès complet, les tarifs commencent à 29 $/mois en facturation annuelle, avec une offre Enterprise au-dessus.

TestMu AI – Verdict 

En conclusion, TestMu AI offre bien plus que les tests traditionnels ou même les outils d’automatisation modernes. Son utilisation de l’IA rationalise l’ensemble du cycle de vie de l’assurance qualité.

KaneAI réduit considérablement le scripting en générant des tests à partir du langage naturel. Agent Testing s’attaque au défi croissant de la validation des applications d’IA. Ensuite, le Real Device Cloud fournit de véritables tests sur matériel à l’échelle de l’entreprise. C’est sans compter que le Browser Cloud fournit aux agents IA une infrastructure de navigateur prête pour la production, sans surcharge de gestion.

Tous ces produits fonctionnent parfaitement ensemble et s’intègrent aux flux de travail de développement existants. 

Au final, la plateforme élimine d’innombrables tâches répétitives et réduit le besoin de grandes équipes et d’infrastructures coûteuses. Bien que nous ne puissions pas recommander de vous séparer de tous vos ingénieurs QA qualifiés, elle libère le temps de l’équipe pour se concentrer sur l’amélioration du logiciel lui-même. 

TestMu AI est l’une des plateformes de test nativement IA les plus complètes disponibles. Elle est particulièrement bien adaptée aux équipes de développement modernes qui adoptent l’ingénierie logicielle pilotée par l’IA.