การอ่านผลการรัน
การรันทดสอบทุกครั้งจะสร้างรายงาน ไม่ใช่แค่ไฟเขียวหรือไฟแดง แต่เป็นเรื่องราวว่ามีอะไรรัน อะไรผ่าน อะไรล้มเหลว และการรันนั้นทำอะไรไปจริงๆ ระหว่างทาง
คำตัดสินและการตรวจสอบ
ที่ระดับบนสุด การรันจะมีคำตัดสินว่า ผ่าน ล้มเหลว หรือเกิดข้อผิดพลาด ถัดลงไป ผลลัพธ์จะจัดกลุ่มตามไฟล์ทดสอบ โดยแสดงรายการการตรวจสอบแต่ละรายการ ได้แก่ ชื่อ สถานะ และเวลาที่ใช้ เมื่อมีบางอย่างล้มเหลว จะระบุความล้มเหลวนั้นอย่างเฉพาะเจาะจง ได้แก่ การตรวจสอบใด assertion ใด สิ่งที่คาดไว้ และสิ่งที่เกิดขึ้นจริง
ผลลัพธ์เหล่านี้ไม่ได้มีไว้สำหรับคุณเท่านั้น แต่จะส่งกลับไปที่ Kliv เป็นข้อมูลที่มีโครงสร้าง ดังนั้น AI ที่เขียนโค้ดจึงอ่านความล้มเหลวเดียวกับที่คุณเห็น และลงมือแก้ไขได้ การตรวจสอบที่ล้มเหลวคือจุดเริ่มต้นของการแก้ไข ไม่ใช่ตั๋วขอความช่วยเหลือ
บันทึกผลข้างเคียง
สำหรับการรัน Scenario รายงานจะมีสิ่งที่การตั้งค่าการทดสอบส่วนใหญ่ทำไม่ได้ นั่นคือบันทึกของ ทุกสิ่งที่การรันทำกับโลกภายนอก ทั้งที่เกิดขึ้นจริงและที่ถูกจับไว้
- ข้อมูลที่เขียน — เขียนลงตารางใดบ้าง และการเขียนแต่ละครั้งได้รับการยอมรับบนสำเนาแบบใช้แล้วทิ้ง หรือถูกบล็อกโดยกฎความปลอดภัยของแอปคุณ (พร้อมเหตุผลเฉพาะ ดังนั้นความล้มเหลวด้านสิทธิ์จึงอธิบายตัวเองได้)
- อีเมลที่จะถูกส่ง — ผู้รับและเนื้อหา ซึ่งถูกจับไว้แทนที่จะส่งจริง
- การเรียกไปยังบริการที่เชื่อมต่อ — ถูกจับไว้ในลักษณะเดียวกัน
สิ่งนี้เปลี่ยนเครื่องหมาย X สีแดงที่คลุมเครือให้เป็นเรื่องราวที่ติดตามได้: โฟลว์ไปถึงขั้นตอนการชำระเงิน เขียนแถวของคำสั่งซื้อ ถูกบล็อกตอนเขียนลงตารางที่ไม่ควรแตะ และจะส่งอีเมลยืนยันหนึ่งฉบับ เมื่อคำถามคือ "สิ่งนี้ทำอะไรไปจริงๆ" คำตอบอยู่ในรายงาน
ใช้ควบคุมการเผยแพร่
คำตัดสินของ Scenario ใช้ควบคุมการเผยแพร่ได้ หากโฟลว์ที่คุณทำเครื่องหมายว่าจำเป็นล้มเหลว การเผยแพร่จะหยุด และรายงานจะบอกสาเหตุ นั่นหมายความว่าคำถามที่ว่า "การเปลี่ยนแปลงนี้ปลอดภัยพอที่จะปล่อยหรือไม่" มีคำตอบแบบอัตโนมัติ คือการทดสอบพิสูจน์ได้หรือไม่ได้
ประวัติ
การรันจะถูกเก็บไว้ตลอดเวลา คุณจึงเห็นได้ว่าอะไรเริ่มล้มเหลวเมื่อใด และมีอะไรเปลี่ยนแปลงในช่วงนั้น ผลการทดสอบสะสมเป็นสัญญาณที่เรียบง่ายและต่อเนื่อง: แอปใช้งานได้ และนี่คือหลักฐานที่เพิ่งตรวจสอบใหม่