Ausführungsergebnisse lesen

Bei jedem Testlauf wird ein Bericht erstellt – nicht nur eine grüne oder rote Ampel, sondern ein Bericht darüber, was gelaufen ist, was bestanden hat, was fehlgeschlagen ist und was der Lauf dabei tatsächlich bewirkt hat.

Ergebnisse und Prüfungen

Auf der obersten Ebene gibt es für einen Lauf ein Gesamtergebnis: bestanden, nicht bestanden oder fehlerhaft. Darunter werden die Ergebnisse nach Testdatei gruppiert, wobei jede einzelne Prüfung aufgelistet wird – ihr Name, ihr Status und wie lange sie gedauert hat. Wenn etwas fehlschlägt, ist der Fehler spezifisch: welche Prüfung, welche Behauptung, was erwartet wurde und was tatsächlich passiert ist.

Diese Ergebnisse sind nicht nur für Sie. Sie kehren als strukturierte Daten zu Kliv zurück, sodass die KI, die den Code geschrieben hat, denselben Fehler liest wie Sie – und darauf reagieren kann. Eine fehlgeschlagene Prüfung ist der Beginn einer Fehlerbehebung und kein Support-Ticket.

Die Aufzeichnung der Nebenwirkungen

Bei Scenario-Läufen enthält der Bericht etwas, was die meisten Test-Setups nicht liefern können: eine Aufzeichnung von allem, was der Lauf der Welt angetan hat – real oder erfasst.

  • Daten, die geschrieben wurden – in welche Tabellen geschrieben wurde und ob jeder Schreibvorgang auf der Einwegkopie akzeptiert oder durch die Sicherheitsregeln Ihrer App blockiert wurde (mit dem spezifischen Grund, sodass sich ein Berechtigungsfehler von selbst erklärt).
  • E-Mails, die es gesendet hätte – Empfänger und Inhalt, erfasst und nicht zugestellt.
  • Aufrufe an verbundene Dienste – auf die gleiche Weise erfasst.

Dadurch wird aus einem vagen roten X eine Geschichte, der Sie folgen können: Der Ablauf erreichte den Zahlungsschritt, schrieb die Bestellzeile, wurde beim Schreiben in eine Tabelle blockiert, die er nicht berühren darf, und hätte eine Bestätigungs-E-Mail gesendet. Wenn die Frage lautet „Was hat das eigentlich bewirkt?“, steht die Antwort im Bericht.

Veröffentlichungen absichern

Scenario-Ergebnisse können die Veröffentlichung blockieren: Wenn die von Ihnen als wesentlich markierten Flows fehlschlagen, wird die Veröffentlichung gestoppt und im Bericht wird der Grund angegeben. Das bedeutet: Die Frage „Ist es sicher, diese Änderung auszuliefern?“ hat eine mechanische Antwort – entweder beweisen die Tests es oder sie beweisen es nicht.

Verlauf

Die Ausführungen werden über einen längeren Zeitraum hinweg durchgeführt, sodass Sie sehen können, wann ein Fehler aufgetreten ist und was sich in der Folge geändert hat. Die Testergebnisse summieren sich zu einem einfachen, dauerhaften Signal: Die App funktioniert, und hier sind die Beweise, frisch überprüft.