Lire les résultats des exécutions

Chaque exécution de tests produit un rapport : pas seulement un feu vert ou rouge, mais un compte rendu de ce qui s'est exécuté, de ce qui a réussi, de ce qui a échoué, et de ce que l'exécution a réellement fait en chemin.

Verdicts et vérifications

Au niveau supérieur, une exécution a un verdict : réussie, échouée ou en erreur. En dessous, les résultats sont regroupés par fichier de test, avec chaque vérification listée : son nom, son statut et sa durée. Quand quelque chose échoue, l'échec est précis : quelle vérification, quelle assertion, ce qui était attendu et ce qui s'est réellement passé.

Ces résultats ne sont pas réservés à vous. Ils retournent à Kliv sous forme de données structurées : l'IA qui a écrit le code lit donc le même échec que vous, et peut agir dessus. Une vérification en échec est le début d'une correction, pas un ticket de support.

La trace des effets de bord

Pour les exécutions de scénarios, le rapport comprend quelque chose que la plupart des dispositifs de test ne peuvent pas produire : la trace de tout ce que l'exécution a fait au monde extérieur, réellement ou en capture.

  • Les données écrites : dans quelles tables elle a écrit, et si chaque écriture a été acceptée sur la copie jetable ou bloquée par les règles de sécurité de votre application (avec la raison précise, si bien qu'un échec de permissions s'explique de lui-même).
  • Les e-mails qu'elle aurait envoyés : destinataire et contenu, capturés plutôt que livrés.
  • Les appels aux services connectés : capturés de la même façon.

Cela transforme une vague croix rouge en une histoire que vous pouvez suivre : le parcours a atteint l'étape de paiement, a écrit la ligne de commande, a été bloqué en tentant d'écrire dans une table qu'il ne devait pas toucher, et aurait envoyé un e-mail de confirmation. Quand la question est « qu'est-ce que cela a réellement fait ? », la réponse est dans le rapport.

Bloquer une publication

Les verdicts des scénarios peuvent bloquer une publication : si les parcours que vous avez marqués comme essentiels échouent, la publication s'arrête et le rapport indique pourquoi. La question « peut-on livrer ce changement sans risque ? » a ainsi une réponse mécanique : les tests le prouvent, ou non.

Historique

Les exécutions sont conservées dans le temps, pour que vous puissiez voir quand quelque chose a commencé à échouer et ce qui a changé autour. Les résultats des tests s'accumulent en un signal simple et permanent : l'application fonctionne, et voici les preuves, revérifiées récemment.