Lettura dei risultati della corsa

Ogni esecuzione di test produce un report: non solo una luce verde o rossa, ma un resoconto di ciò che è stato eseguito, cosa ha superato, cosa ha fallito e cosa ha effettivamente fatto l'esecuzione lungo il percorso.

Verdetti e verifiche

Al livello più alto, un'esecuzione ha un verdetto: superata, fallita o in errore. Al di sotto, i risultati sono raggruppati per file di test, con ogni singolo controllo elencato: il suo nome, il suo stato e il tempo impiegato. Quando qualcosa fallisce, il fallimento è specifico: quale verifica, quale asserzione, cosa ci si aspettava e cosa è realmente accaduto.

Questi risultati non sono solo per te. Ritornano a Kliv come dati strutturati, quindi l'intelligenza artificiale che ha scritto il codice legge lo stesso errore che leggi tu e può agire di conseguenza. Un controllo fallito è l'inizio di una correzione, non un ticket di supporto.

Il record degli effetti collaterali

Per le esecuzioni Scenario, il report include qualcosa che la maggior parte delle configurazioni di test non è in grado di produrre: una registrazione di tutto ciò che l'esecuzione ha fatto nel mondo: reale o catturato.

  • Dati scritti: su quali tabelle sono state scritte e se ogni scrittura è stata accettata sulla copia usa e getta o bloccata dalle regole di sicurezza dell'app (con il motivo specifico, quindi un errore di autorizzazione si spiega da solo).
  • E-mail che avrebbe inviato: destinatario e contenuto, catturati anziché consegnati.
  • Chiamate ai servizi connessi: acquisite allo stesso modo.

Questo trasforma una vaga X rossa in una storia che puoi seguire: il flusso ha raggiunto la fase di pagamento, ha scritto la riga dell'ordine, è stato bloccato nella scrittura su una tabella che non dovrebbe toccare e avrebbe inviato un'e-mail di conferma. Quando la domanda è "che cosa ha effettivamente fatto?", la risposta è nel report.

Bloccare una pubblicazione

I verdetti Scenario possono bloccare la pubblicazione: se i flussi contrassegnati come essenziali falliscono, la pubblicazione si interrompe e il report ne spiega il motivo. Ciò significa che la domanda "è sicuro pubblicare questa modifica?" ha una risposta meccanica: i test o lo dimostrano oppure no.

Cronologia

Le esecuzioni vengono mantenute nel tempo, così puoi vedere quando qualcosa ha iniziato a fallire e cosa è cambiato intorno ad esso. I risultati dei test si accumulano in un segnale semplice e permanente: l'app funziona, ed ecco le prove, appena ricontrollate.