Đọc kết quả chạy
Mỗi lần chạy kiểm thử tạo ra một báo cáo: không chỉ là đèn xanh hay đèn đỏ, mà là bản tường thuật về những gì đã chạy, những gì đạt, những gì thất bại và những gì lần chạy thực sự đã làm trong lúc chạy.
Kết luận và các phép kiểm tra
Ở cấp cao nhất, một lần chạy có một kết luận: đạt, thất bại hoặc gặp lỗi. Bên dưới, kết quả được nhóm theo từng tệp kiểm thử, với từng phép kiểm tra được liệt kê: tên, trạng thái và thời gian chạy. Khi có gì đó thất bại, lỗi được nêu cụ thể: phép kiểm tra nào, khẳng định nào, điều gì được kỳ vọng và điều gì thực sự đã xảy ra.
Những kết quả này không chỉ dành cho bạn. Chúng được trả về Kliv dưới dạng dữ liệu có cấu trúc, nên AI đã viết mã đọc đúng lỗi mà bạn đọc, và có thể xử lý nó. Một phép kiểm tra thất bại là bước đầu của một bản sửa, không phải một ticket hỗ trợ.
Bản ghi về các tác dụng phụ
Với các lần chạy Scenario, báo cáo có thêm thứ mà hầu hết các hệ thống kiểm thử không tạo ra được: một bản ghi về mọi thứ lần chạy đó đã tác động lên thế giới, dù thật hay chỉ được ghi lại.
- Dữ liệu đã ghi: bảng nào đã được ghi, và mỗi lần ghi được chấp nhận trên bản sao dùng một lần hay bị chặn bởi các quy tắc bảo mật của ứng dụng (kèm lý do cụ thể, nên một lỗi về quyền truy cập tự giải thích).
- Email lẽ ra đã được gửi: người nhận và nội dung, được ghi lại thay vì gửi đi.
- Lệnh gọi đến các dịch vụ đã kết nối: được ghi lại theo cách tương tự.
Nhờ vậy một dấu X đỏ mơ hồ trở thành câu chuyện bạn theo dõi được: luồng đã đến bước thanh toán, đã ghi dòng đơn hàng, bị chặn khi ghi vào một bảng mà nó không được chạm tới, và lẽ ra đã gửi một email xác nhận. Khi câu hỏi là "việc này thực sự đã làm gì?", câu trả lời nằm trong báo cáo.
Chặn việc phát hành
Kết luận của Scenario có thể chặn việc phát hành: nếu các luồng bạn đánh dấu là thiết yếu thất bại, việc phát hành dừng lại và báo cáo cho biết lý do. Nghĩa là câu hỏi "thay đổi này có an toàn để phát hành không?" có câu trả lời mang tính cơ học: các bài kiểm thử hoặc chứng minh được, hoặc không.
Lịch sử
Các lần chạy được lưu theo thời gian, nên bạn có thể thấy khi nào một thứ bắt đầu thất bại và điều gì đã thay đổi xung quanh nó. Kết quả kiểm thử tích lũy thành một tín hiệu đơn giản và thường trực: ứng dụng hoạt động, và đây là bằng chứng, vừa được kiểm tra lại.