讀取執行結果

每次測試執行都會產生一份報告,不只是綠燈或紅燈,而是完整說明執行了什麼、哪些通過、哪些失敗,以及這次執行過程中實際做了什麼。

判定與檢查項目

最上層是整體執行的判定:通過、失敗或發生錯誤。往下則依測試檔案分組,並列出每一項檢查,包括名稱、狀態與耗時。失敗時,說明會很具體:是哪一項檢查、哪個斷言、預期是什麼、實際發生了什麼。

這些結果不只是給你看的。它們會以結構化資料回傳給 Kliv,所以撰寫程式碼的 AI 讀到的失敗資訊和你看到的一樣,也能據此處理。失敗的檢查是修正的起點,不是一張待處理的支援單。

副作用記錄

對於 Scenario 執行,報告包含多數測試環境做不到的內容:一份這次執行對外界做了什麼的記錄,不論是真實的還是被攔截記錄的。

  • 寫入的資料 — 寫入了哪些資料表,以及每次寫入是在一次性副本上被接受,還是被應用程式的安全規則擋下(並附上具體原因,讓權限失敗自己說明原因)。
  • 本來會寄出的電子郵件 — 收件者與內容,被攔截記錄而非真正送出。
  • 對已連接服務的呼叫 — 以同樣方式攔截記錄。

這讓一個模糊的紅色叉號,變成你可以順著讀的經過:流程走到付款步驟、寫入了訂單資料列、嘗試寫入不該碰的資料表而被擋下,並且本來會寄出一封確認信。當你想問的是*「這次到底做了什麼?」*,答案就在報告裡。

控管發布

Scenario 的判定可以控管發布:如果你標記為必要的流程失敗,發布就會停止,報告會說明原因。這表示「這項變更可以安全上線嗎?」有了機械式的答案:測試要嘛證明了,要嘛沒有。

歷史記錄

執行記錄會長期保存,讓你看到某個項目是從何時開始失敗,以及當時有什麼變動。測試結果會累積成一個簡單而持續的訊號:應用程式運作正常,這是剛重新檢查過的證據。