קריאת תוצאות הריצה
כל הרצת בדיקות מפיקה דוח: לא רק נורה ירוקה או אדומה, אלא תיאור של מה רץ, מה עבר, מה נכשל ומה ההרצה עשתה בפועל לאורך הדרך.
תוצאה כללית ובדיקות בודדות
ברמה העליונה יש להרצה תוצאה כללית: עברה, נכשלה או הסתיימה בשגיאה. מתחת לזה התוצאות מקובצות לפי קובץ בדיקות, וכל בדיקה בודדת מופיעה עם השם שלה, הסטטוס שלה וכמה זמן היא לקחה. כשמשהו נכשל, הכשל מפורט: איזו בדיקה, איזו הצהרה (assertion), מה היה צפוי ומה קרה בפועל.
התוצאות האלה לא מיועדות רק לך. הן חוזרות ל-Kliv כנתונים מובנים, כך שה-AI שכתב את הקוד קורא את אותו כשל שאתה קורא, ויכול לפעול על פיו. בדיקה שנכשלה היא תחילתו של תיקון, לא פנייה לתמיכה.
תיעוד של תופעות לוואי
בהרצות של Scenario הדוח כולל משהו שרוב מערכות הבדיקה לא יכולות להפיק: תיעוד של כל מה שההרצה עשתה לעולם, אמיתי או מדומה.
- נתונים שהיא כתבה — לאילו טבלאות נכתב מידע, והאם כל כתיבה התקבלה בעותק החד-פעמי או נחסמה על ידי כללי האבטחה של האפליקציה שלך (עם הסיבה המדויקת, כך שכשל בהרשאות מסביר את עצמו).
- אימיילים שהיו נשלחים — הנמען והתוכן, נלכדים במקום להישלח.
- קריאות לשירותים מחוברים — נלכדות באותו אופן.
כך איקס אדום עמום הופך לסיפור שאפשר לעקוב אחריו: הזרימה הגיעה לשלב התשלום, כתבה את שורת ההזמנה, נחסמה כשניסתה לכתוב לטבלה שאסור לה לגעת בה, והייתה שולחת אימייל אישור אחד. כשהשאלה היא "מה זה בעצם עשה?", התשובה נמצאת בדוח.
חסימת פרסום
תוצאות של Scenario יכולות לחסום פרסום: אם הזרימות שסימנת כחיוניות נכשלות, הפרסום נעצר, והדוח מסביר מדוע. כך לשאלה "האם בטוח להעלות את השינוי הזה?" יש תשובה מכנית: הבדיקות מוכיחות זאת או שלא.
היסטוריה
הרצות נשמרות לאורך זמן, כך שאפשר לראות מתי משהו התחיל להיכשל ומה השתנה סביבו. תוצאות הבדיקות מצטברות לאות פשוט וקבוע: האפליקציה עובדת, והנה ההוכחה, שנבדקה מחדש.