Runresultaten lezen

Elke testrun levert een rapport op: niet alleen een groen of rood licht, maar een verslag van wat er draaide, wat slaagde, wat mislukte en wat de run onderweg daadwerkelijk heeft gedaan.

Oordelen en controles

Op het hoogste niveau heeft een run een oordeel: geslaagd, mislukt of fout. Daaronder zijn de resultaten gegroepeerd per testbestand, met elke afzonderlijke controle: de naam, de status en hoe lang die duurde. Mislukt er iets, dan is de melding specifiek: welke controle, welke assertie, wat werd verwacht en wat er werkelijk gebeurde.

Deze resultaten zijn niet alleen voor u. Ze gaan als gestructureerde gegevens terug naar Kliv, zodat de AI die de code schreef dezelfde fout leest als u en er iets mee kan doen. Een mislukte controle is het begin van een oplossing, niet van een supportticket.

Het logboek van neveneffecten

Bij scenarioruns bevat het rapport iets wat de meeste testopstellingen niet kunnen leveren: een overzicht van alles wat de run met de buitenwereld heeft gedaan, echt of vastgelegd.

  • Gegevens die zijn geschreven: naar welke tabellen is geschreven, en of elke schrijfactie op de wegwerpkopie is geaccepteerd of door de beveiligingsregels van uw app is geblokkeerd (met de specifieke reden, zodat een fout in rechten zichzelf verklaart).
  • E-mails die zouden zijn verstuurd: ontvanger en inhoud, vastgelegd in plaats van bezorgd.
  • Aanroepen naar gekoppelde services: op dezelfde manier vastgelegd.

Zo wordt een vage rode X een verhaal dat u kunt volgen: de stroom bereikte de betaalstap, schreef de bestelregel, werd geblokkeerd bij het schrijven naar een tabel waar die niet aan mocht komen, en zou één bevestigingsmail hebben verstuurd. Is de vraag "wat heeft dit eigenlijk gedaan?", dan staat het antwoord in het rapport.

Een publicatie tegenhouden

Oordelen van scenario's kunnen het publiceren blokkeren: mislukken de stromen die u als essentieel hebt aangemerkt, dan stopt het publiceren en staat in het rapport waarom. De vraag "kan deze wijziging veilig live?" heeft dan een mechanisch antwoord: de tests bewijzen het of ze bewijzen het niet.

Geschiedenis

Runs worden over langere tijd bewaard, zodat u kunt zien wanneer iets begon te falen en wat er toen veranderde. Testresultaten vormen zo een eenvoudig, blijvend signaal: de app werkt, en hier is het bewijs, vers gecontroleerd.