TestMu AI-anmeldelse: Full-stack agentisk AI for QA-testing

Programvaretesting har blitt en stadig mer komplisert prosess. Applikasjoner forventes å fungere feilfritt, selv om de må støtte flere nettlesere, operativsystemer og enheter. Å takle dette på gamlemåten er tidkrevende og krever omfattende kompetanse.

Med plattformer som TestMu AI kan du integrere moderne KI-funksjoner i alle stadier av testlivssyklusen. Denne skyplattformen effektiviserer komplekse arbeidsflyter i flere trinn og reduserer kostnader og bemanning betydelig. 

Hva er TestMu AI?

TestMu AI beskrives best som en full-stack agentbasert KI-plattform for kvalitetsutvikling. I stedet for bare å automatisere repeterende oppgaver, bruker den KI-agenter til å generere, kjøre, vedlikeholde og analysere tester.

Agenter forstår kodebaser, kan planlegge strategier og forutsi feil før de i det hele tatt oppstår. Alt du egentlig trenger, er evnen til å skrive inn prompter, noe som gjør det langt mer tilgjengelig enn konvensjonelle QA-verktøy.

Den omfattende tjenesten gjør det mulig å teste nett-, mobil- og bedriftsapplikasjoner i alle skalaer. Dette inkluderer ekte enheter, ekte nettlesere og tilpassede virkelighetsnære miljøer.

Dessuten forblir den eksisterende stakken din intakt, takket være over 120 integrasjoner, inkludert GitHub, Jenkins og Slack.

La oss se nærmere på hvorfor TestMu AI allerede er valget til over 18 000 bedriftskunder, inkludert Microsoft, OpenAI, NVIDIA, Vimeo og flere.

Hovedprodukter

Fra KI-drevet testgenerering og autonome testagenter til validering på ekte enheter og skalerbar testing på tvers av nettlesere – plattformen kombinerer fire produkter som dekker alle stadier av testlivssyklusen. Etter å ha brukt tid med hver komponent, her er alt du trenger å vite:

KaneAI – Skriv tester på vanlig engelsk

KaneAI er flaggskip-KI-agenten til TestMu AI og skiller plattformen fra tradisjonelle verktøy for testautomatisering. I stedet for å skrive Selenium-skript manuelt eller bygge automatiserte arbeidsflyter fra bunnen av, lar den deg beskrive testen du vil utføre med naturlig språk.

KI-en konverterer deretter disse instruksjonene til kjørbare automatiserte tester, noe som reduserer mengden koding og timene brukt på manuelt oppsett betydelig.

Selv ikke-tekniske teammedlemmer uten programmeringskunnskap kan bygge avanserte testcaser.

KaneAI integreres direkte med Browser Cloud og Real Device Cloud fra TestMu AI. Dermed kan samme test kjøres i stasjonære og mobile nettlesere og på ekte Android- og iOS-enheter. Dette fjerner behovet for å gjenskape tester for ulike miljøer. Vanlige testmoduler er dessuten gjenbrukbare, slik at du ikke trenger å gjenskape innlogging, navigasjon, utsjekking og andre rutineprosesser. 

Et annet område der KaneAI skiller seg ut, er kontekstuell intelligens. Det vil si at den automatisk forstår et bredt spekter av prosjektressurser og dokumentasjon. Dette inkluderer kildekode, GitHub-pull-forespørsler, produktkravdokumenter (PRD-er), Jira-saker, PDF-er, bilder, lyd og til og med video.

Den utfører også sitt eget vedlikehold. Når et UI-element endres eller en lokator forskyves under kjøring, oppdager agenten automatisk avviket. Deretter oppdaterer den det berørte trinnet dynamisk på farten, slik at testen kan kjøre uten å krasje. 

Selv om ingen automatiseringsverktøy kan eliminere vedlikehold helt, bør denne tilnærmingen redusere mengden manuelt arbeid som kreves etter hvert som applikasjoner utvikler seg.

En annen fordel er at tester ikke låses til et proprietært format. Du eier alltid testene dine og kan eksportere dem utenfor KaneAI til Playwright, Selenium, Cypress eller Appium. Å jobbe utenfor plattformen opphever imidlertid åpenbart alle fordelene med KI.

Alt i alt føles KaneAI som mer enn bare en KI-drevet skriptgenerator. Den kombinerer testoppretting med naturlig språk, KI-assistert feilsøking, automatisert vedlikehold og kjøring i skyen til en arbeidsflyt som virkelig forenkler moderne programvaretesting.

KaneAI har også et lettere motstykke det er verdt å kjenne til: Kane CLI. Det er et gratis, terminaldrevet verktøy som kjører den samme naturligspråklige testopprettelsen på din egen maskin, uten at det kreves en skyøkt. I stedet for å erstatte skyproduktet, er det bygget for situasjoner der skybasert testing er overkill: en rask lokal sjekk før du pusher en commit, eller et trinn koblet direkte inn i en CI-jobb. Det følger med alle KaneAI-planer, inkludert Starter-nivået, så det koster ikke noe ekstra å bruke det.

Prisene gjelder per agent, faktureres årlig, i tre nivåer:

• Starter til $19/agent/måned (2 000 kreditter, kun lokal testoppretting med Kane CLI).
• Pro til $99/agent/måned (12 000 kreditter, legger til Cloud KaneAI Web-testoppretting).
• Max til $199/agent/måned (25 000 kreditter, legger til Cloud KaneAI Mobile ved siden av Web).
• Enterprise tilbyr ubegrensede kreditter og tilpassede betingelser.

Agent Testing – Test AI med AI

Hvis du utvikler eller integrerer dine egne AI-agenter, for eksempel kundevendte chatboter, taleassistenter osv., har du sannsynligvis allerede møtt begrensningene i tradisjonelle QA-verktøy. Det vil si manglende evne til å validere dynamiske svar ved hjelp av faste regler. 

Selv om én løsning er å ansette mange menneskelige testere for å fokusere på ulike scenarier, er TestMu AIs Agent Testing utviklet spesifikt for å evaluere kvaliteten, nøyaktigheten og påliteligheten til AI-agenter i en skala som er tusenvis av ganger mer effektiv enn mennesker.

For eksempel kan det automatisk generere 60–100+ testscenarier fra ett enkelt opplastet PRD eller dokument. Dekning som tar en menneskelig tester flere uker.

Det tilbyr 15+ spesialiserte AI-testere som kjører tusenvis av scenarier samtidig, og dekker hallusinasjon, skjevhet, kontekstblindhet, tonefeil, adversariell skjørhet og ufullstendige svar.

Disse kan brukes på chatboter, taleagenter, telefonsamtaleagenter og bildeanalyseagenter. 

En av de største styrkene er bredden i evalueringsmetrikkene. I stedet for å produsere et enkelt bestått/ikke bestått-resultat, gir TestMu AI 9 metrikker for chat- og taleagenter, 30+ metrikker for telefonsamtaler og en kvalitetsscore fra 0 til 100 for bildeagenter. Disse er alle reproduserbare og gir grunnlag for handlingsrettede innsikter.

Dessuten kan Agent Testing integreres i alle stadier av livssyklusen, fra validering før lansering til regresjonstesting etter modelloppdateringer og kontinuerlig overvåking.

Agent Testing selges gjennom kontaktsalg i stedet for publiserte selvbetjeningsnivåer – prisen tilpasses scenariovolumet ditt på tvers av dekning for chat, tale, telefonsamtaler og bildeagenter etter en samtale med salgsteamet. Det finnes ingen offentlig PAYG-kredittpris eller fast månedlig startpris oppgitt. 

Real Device Cloud

Testing på de faktiske enhetene målgruppen din bruker, er i sin natur den mest nøyaktige tilnærmingen. Det er her TestMu AIs Real Device Cloud utmerker seg. Den gir deg umiddelbar tilgang til mer enn 10 000 ekte Android- og iOS-enheter, samt ekte Windows- og macOS-miljøer, direkte gjennom nettleseren din.

I motsetning til emulatorer kjører hver økt på fysisk maskinvare, slik at du kan teste applikasjonen din under de samme forholdene som ekte brukere.

Dette gjør det mye enklere å identifisere problemer som rett og slett ikke oppstår på emulatorer, for eksempel maskinvarespesifikke renderingsfeil, sensoratferd, særegenheter ved operativsystemet eller ytelse under reell systembelastning.

Bredden i støttet maskinvare er like imponerende. Ved siden av de nyeste iPhone-, Samsung Galaxy- og Google Pixel-enhetene omfatter plattformen også eldre modeller som fortsatt er mye brukt. Å opprettholde denne enhetsdekningen internt ville vært både kostbart og tidkrevende, men TestMu AI gjør den tilgjengelig på forespørsel uten at det kreves noe maskinvarevedlikehold.

Dessuten støtter den både live manuell testing og fullt automatisert testing. I en live-økt kan du starte en applikasjon på en ekte enhet og samhandle med den nøyaktig slik en sluttbruker ville gjort. Automatiserte arbeidsflyter er godt støttet av populære rammeverk, inkludert Appium, XCUITest, Espresso og Detox, noe som gjør at eksisterende mobile testpakker kan kjøres med minimale endringer.

Real Device Cloud inkluderer også flere avanserte testfunksjoner som ville vært vanskelige å gjenskape lokalt. Nettverkssimulering gjør at applikasjoner kan testes under 2G, 3G, 4G, 5G, tilpasset båndbredde eller helt frakoblede forhold.

Dette bidrar til å identifisere problemer som bare oppstår på tregere eller ustabile tilkoblinger. 

Videre støtter geolokasjonstesting mer enn 170 land, noe som gjør det enkelt å validere posisjonsbasert funksjonalitet uten å reise eller basere seg på fysiske enheter i ulike regioner.

For mobilapper satte jeg også pris på støtten for maskinvarespesifikke funksjoner. Sikker autentisering kan valideres ved hjelp av Face ID, Touch ID og fingeravtrykksensorer. Samtidig kan kamerafunksjonalitet, QR-kodeskanning, akselerometre og gyroskop testes på ekte maskinvare. 

Muligheten til å installere og bytte mellom flere applikasjonsbygg i samme økt effektiviserer også regresjonstesting under aktiv utvikling.

TestMu AI gir også tilgang til ekte Windows 10-, Windows 11-, macOS Ventura- og macOS Sequoia-miljøer. Dette lar deg validere nettapplikasjoner på skrivebordsoperativsystemene brukerne dine faktisk bruker, uten å måtte vedlikeholde dedikerte testmaskiner.

• Du kan prøve Real Device Cloud gratis med 5 økter per måned, opptil 2 minutter per økt, ingen kort kreves.
• Full live-manuell tilgang på ekte enheter (Real Device Plus Live) starter på $39/måned, og automatisert testing på ekte enheter (Real Device Plus Automation Cloud) starter på $199/måned, begge fakturert årlig.
• ($15/mnd. er TestMu AI sin Virtual Live-plan – emulatorer og simulatorer, ikke ekte maskinvare – så det er faktisk ikke inngangspunktet til Real Device Cloud.)

Browser Cloud

Browser Cloud leverer produksjonsklar nettleserinfrastruktur uten kompleksiteten ved å administrere den selv. Enten du tester applikasjoner, skraper JavaScript-tunge nettsteder eller distribuerer autonome AI-agenter, gir den ytelsen og skalerbarheten som trengs for enhver arbeidsbelastning.

Som selskapet beskriver det, er det «en skalerbar nettleser bygget for AI-agenter for å skrape, teste og automatisere uten infrastrukturhodepine.»

Den støtter Claude, OpenAI, Gemini, Cursor og tilpassede AI-agenter. I stedet for å administrere lokale nettlesere eller skyinfrastruktur kan utviklere starte hundrevis av nettleserøkter på forespørsel.

Nettleserøkter starter på sekunder. De kan kjøre i opptil 24 timer. Flere økter kjøres samtidig uten at det kreves noen klargjøring eller vedlikehold. Dette gjør plattformen ideell for store automatiseringsprosjekter og AI-drevne arbeidsflyter.

En annen fordel er bruken av full Chrome-kjøring. Hver side gjengis fullstendig før AI-en samhandler med den. JavaScript kjøres normalt, selv på komplekse enkeltside-applikasjoner. Agenter mottar den fullstendig gjengitte DOM-en i stedet for ufullstendige HTTP-svar. Dette resulterer i langt mer pålitelig automatisering og nettskraping.

Browser Cloud inkluderer også flere innebygde funksjoner for å arbeide på det levende nettet. Fingeravtrykksmaskering, CAPTCHA-løsning og annonseblokkering hjelper AI-agenter med å unngå unødvendige avbrytelser. Geografisk målrettede proxyer dekker mer enn 180 lokasjoner, noe som gjør at nettsteder kan nås som om forespørslene stammer lokalt.

Vedvarende økter er like nyttig. Informasjonskapsler, lokal lagring og påloggingsinformasjon forblir tilgjengelige på tvers av økter. AI-agenter trenger ikke å autentisere seg gjentatte ganger når de fullfører lange arbeidsflyter eller returnerer til tidligere besøkte nettsteder.

Hver økt tar opp video, konsollutdata fra nettleseren, nettverksaktivitet og trinnvis kommandohistorikk. I stedet for å undersøke en mislykket headless-prosess, kan du spille av nøyaktig hva som skjedde og identifisere problemet mye raskere.

Browser Cloud løser også en annen vanlig utviklingsutfordring. Den integrerte Tunnel-funksjonen lar AI-agenter få tilgang til localhost, staging-miljøer og tjenester som er beskyttet bak VPN-er eller brannmurer. Ingen tredjeparts tunnelprogramvare er nødvendig, noe som gjør testing av interne applikasjoner mye enklere.

Kompatibilitet er en annen styrke. Browser Cloud fungerer med Playwright, Puppeteer, Selenium og andre SDK-kompatible rammeverk. Eksisterende automatiseringsprosjekter kan derfor migrere uten å måtte skrives om fra bunnen av.

Browser Cloud er tilgjengelig gratis med 100 minutter med 2-parallell nettautomatisering. For full tilgang starter prisen på $29/måned fakturert årlig, med et Enterprise-nivå over det.

TestMu AI – Konklusjon 

Konklusjonen er at TestMu AI leverer mye mer enn tradisjonell testing eller til og med moderne automatiseringsverktøy. Bruken av AI effektiviserer hele QA-livssyklusen.

KaneAI reduserer skripting dramatisk ved å generere tester fra naturlig språk. Agent Testing håndterer den økende utfordringen med å validere AI-applikasjoner. Deretter gir Real Device Cloud ekte maskinvaretesting på bedriftsnivå. For ikke å nevne at Browser Cloud gir AI-agenter produksjonsklar nettleserinfrastruktur uten administrasjonsoverhead.

Alle disse produktene fungerer sømløst sammen og integreres i eksisterende utviklingsarbeidsflyter. 

Til syvende og sist fjerner plattformen utallige repeterende oppgaver og reduserer behovet for store team og kostbar infrastruktur. Selv om vi ikke kan anbefale å kvitte seg med alle dine dyktige QA-ingeniører, frigjør den teamets tid til å fokusere på å forbedre selve programvaren. 

TestMu AI er en av de mest omfattende AI-native testplattformene som er tilgjengelige. Den er spesielt godt egnet for moderne utviklingsteam som omfavner AI-drevet programvareutvikling.