Sådan læser du kørselsresultater
Hver testkørsel giver en rapport. Det er ikke bare et grønt eller rødt lys, men en redegørelse for, hvad der blev kørt, hvad der bestod, hvad der fejlede, og hvad kørslen faktisk gjorde undervejs.
Resultater og kontroller
På øverste niveau har en kørsel et resultat: bestået, fejlet eller afbrudt med fejl. Under det er resultaterne grupperet pr. testfil, og hver enkelt kontrol vises med navn, status og varighed. Når noget fejler, er fejlen konkret: hvilken kontrol, hvilken påstand, hvad der var forventet, og hvad der faktisk skete.
Resultaterne er ikke kun til dig. De går tilbage til Kliv som strukturerede data, så den AI, der skrev koden, læser den samme fejl som du og kan handle på den. En fejlende kontrol er begyndelsen på en rettelse, ikke en supportsag.
Registreringen af bivirkninger
For Scenario-kørsler indeholder rapporten noget, de fleste testopsætninger ikke kan levere: en registrering af alt, hvad kørslen gjorde ved omverdenen, enten rigtigt eller opfanget.
- Data, den skrev: hvilke tabeller der blev skrevet til, og om hver skrivning blev accepteret på engangskopien eller blokeret af din apps sikkerhedsregler (med den præcise årsag, så en fejl i tilladelser forklarer sig selv).
- E-mails, den ville have sendt: modtager og indhold, opfanget i stedet for leveret.
- Kald til forbundne tjenester: opfanges på samme måde.
Så bliver et vagt rødt kryds til en historie, du kan følge: forløbet nåede betalingstrinnet, skrev ordrerækken, blev blokeret i at skrive til en tabel, det ikke skulle røre, og ville have sendt én bekræftelses-e-mail. Når spørgsmålet er "hvad gjorde det her egentlig?", står svaret i rapporten.
Stop en udgivelse
Resultater fra Scenarios kan holde en udgivelse tilbage: hvis de forløb, du har markeret som afgørende, fejler, stopper udgivelsen, og rapporten fortæller hvorfor. Dermed har spørgsmålet "er det sikkert at udgive denne ændring?" et mekanisk svar: testene beviser det enten, eller de gør ikke.
Historik
Kørsler gemmes over tid, så du kan se, hvornår noget begyndte at fejle, og hvad der ændrede sig omkring det tidspunkt. Testresultaterne samler sig til et enkelt, vedvarende signal: appen virker, og her er beviset, nytjekket.