Čtení výsledků běhu
Každý běh testů vytvoří zprávu – nejen zelené nebo červené světlo, ale i přehled toho, co se spustilo, co prošlo, co selhalo a co běh cestou skutečně udělal.
Verdikty a kontroly
Na nejvyšší úrovni má běh verdikt: prošel, selhal, nebo skončil chybou. Pod ním jsou výsledky seskupeny podle testovacích souborů a u každé jednotlivé kontroly je uveden její název, stav a doba trvání. Když něco selže, je selhání konkrétní: která kontrola, které tvrzení (assertion), co se očekávalo a co se skutečně stalo.
Tyto výsledky nejsou jen pro vás. Vracejí se do Kliv jako strukturovaná data, takže AI, která kód napsala, čte stejné selhání jako vy – a může podle něj jednat. Selhávající kontrola je začátek opravy, ne tiket pro podporu.
Záznam vedlejších účinků
U běhů Scenario zpráva obsahuje něco, co většina testovacích nástrojů nezvládne: záznam všeho, co běh se světem udělal – skutečného i zachyceného.
- Data, která zapsal – do kterých tabulek se zapisovalo a zda byl každý zápis přijat na jednorázové kopii, nebo zablokován bezpečnostními pravidly vaší aplikace (s konkrétním důvodem, takže se selhání oprávnění vysvětlí samo).
- E-maily, které by odeslal – příjemce a obsah, zachycené, nikoli doručené.
- Volání připojených služeb – zachycená stejným způsobem.
Z nejasného červeného křížku se tak stane příběh, který můžete sledovat: postup došel ke kroku platby, zapsal řádek objednávky, byl zablokován při zápisu do tabulky, které se neměl dotýkat, a odeslal by jeden potvrzovací e-mail. Když se ptáte „co to vlastně udělalo?“, odpověď je ve zprávě.
Podmínka pro publikování
Verdikty Scenario mohou podmiňovat publikování: pokud selžou postupy, které jste označili za zásadní, publikování se zastaví a zpráva uvede důvod. Otázka „je bezpečné tuto změnu nasadit?“ tak má mechanickou odpověď – testy to buď prokážou, nebo ne.
Historie
Běhy se uchovávají v čase, takže vidíte, kdy něco začalo selhávat a co se kolem toho změnilo. Výsledky testů se skládají do jednoduchého trvalého signálu: aplikace funguje a tady jsou důkazy, čerstvě znovu ověřené.