Membaca Hasil Run

Setiap test run menghasilkan laporan: bukan hanya lampu hijau atau merah, tetapi catatan tentang apa yang berjalan, apa yang lulus, apa yang gagal, dan apa yang benar-benar dilakukan run sepanjang jalan.

Verdict dan check

Pada tingkat atas, run memiliki verdict: passed, failed, atau errored. Di bawahnya, hasil dikelompokkan per file test, dengan setiap check individual tercantum: namanya, statusnya, dan berapa lama waktunya. Saat sesuatu gagal, kegagalan itu spesifik: check mana, assertion mana, apa yang diharapkan dan apa yang sebenarnya terjadi.

Hasil ini bukan hanya untuk Anda. Hasil kembali ke Kliv sebagai data terstruktur, sehingga AI yang menulis kode membaca kegagalan yang sama seperti Anda, dan dapat menindaklanjutinya. Check yang gagal adalah awal perbaikan, bukan tiket dukungan.

Catatan side effect

Untuk Scenario runs, laporan menyertakan sesuatu yang tidak dapat dihasilkan sebagian besar setup testing: catatan semua yang dilakukan run terhadap dunia, nyata atau ditangkap.

  • Data yang ditulis — tabel mana yang ditulis, dan apakah tiap penulisan diterima pada salinan sekali pakai atau diblokir oleh aturan keamanan aplikasi (dengan alasan spesifik, sehingga kegagalan izin menjelaskan dirinya sendiri).
  • Email yang akan dikirim — penerima dan konten, ditangkap alih-alih dikirim.
  • Panggilan ke layanan terhubung — ditangkap dengan cara yang sama.

Ini mengubah X merah yang kabur menjadi cerita yang dapat Anda ikuti: alur mencapai langkah pembayaran, menulis baris pesanan, diblokir menulis ke tabel yang tidak boleh disentuh, dan akan mengirim satu email konfirmasi. Saat pertanyaannya adalah "apa yang sebenarnya dilakukan ini?", jawabannya ada di laporan.

Menggate publish

Verdict Scenario dapat menggate publishing: jika alur yang Anda tandai penting gagal, publish berhenti, dan laporan mengatakan mengapa. Artinya pertanyaan "apakah aman mengirim perubahan ini?" memiliki jawaban mekanis: test membuktikannya atau tidak.

Riwayat

Run disimpan seiring waktu, sehingga Anda dapat melihat kapan sesuatu mulai gagal dan apa yang berubah di sekitarnya. Hasil test terkumpul menjadi sinyal sederhana yang menetap: aplikasi bekerja, dan inilah buktinya, baru saja diperiksa ulang.