실행 결과 읽기

모든 테스트 실행은 단순한 초록불 또는 빨간불이 아니라, 무엇이 실행되었고, 무엇이 통과하거나 실패했고, 실행이 그 과정에서 실제로 무엇을 했는지를 담은 보고서를 만듭니다.

판정과 개별 검사

최상위 수준에서 실행에는 통과, 실패, 오류 중 하나의 판정이 붙습니다. 그 아래에서는 결과가 테스트 파일별로 묶이고, 각 검사의 이름, 상태, 소요 시간이 나열됩니다. 무언가 실패하면 어떤 검사의 어떤 단언(assertion)이 실패했는지, 무엇을 기대했고 실제로 무슨 일이 일어났는지가 구체적으로 표시됩니다.

이 결과는 사용자만을 위한 것이 아닙니다. 구조화된 데이터로 Kliv에 전달되므로, 코드를 작성한 AI가 사용자와 똑같은 실패 내용을 읽고 바로 조치할 수 있습니다. 실패한 검사는 지원 티켓이 아니라 수정의 시작입니다.

부수 효과 기록

Scenario 실행의 보고서에는 대부분의 테스트 환경에서는 만들 수 없는 정보가 담깁니다. 실행이 외부 세계에 한 모든 일을 실제로 했든 캡처만 했든 기록한 내용입니다.

  • 쓴 데이터 — 어떤 테이블에 썼는지, 각 쓰기가 일회용 복사본에서 허용되었는지 아니면 앱의 보안 규칙에 의해 차단되었는지가 표시됩니다(구체적인 이유가 함께 나오므로 권한 오류는 스스로 설명됩니다).
  • 보냈을 이메일 — 전달되지 않고 캡처된 수신자와 내용입니다.
  • 연결된 서비스에 대한 호출 — 같은 방식으로 캡처됩니다.

덕분에 막연한 빨간 X 표시가 따라갈 수 있는 이야기로 바뀝니다. 흐름이 결제 단계까지 도달했고, 주문 행을 썼고, 건드리면 안 되는 테이블에 쓰려다 차단되었으며, 확인 이메일 한 통을 보냈을 것이라는 식으로 알 수 있습니다. *"이 실행이 실제로 무엇을 했는가?"*라는 질문의 답은 보고서에 있습니다.

게시 제한(gating)

Scenario 판정은 게시를 제한할 수 있습니다. 필수로 지정한 흐름이 실패하면 게시가 중단되고, 보고서에 그 이유가 표시됩니다. 따라서 "이 변경 사항을 출시해도 안전한가?"라는 질문에 기계적인 답이 생깁니다. 테스트가 입증하거나, 입증하지 못하거나 둘 중 하나입니다.

기록 보관

실행 기록은 시간이 지나도 보관되므로, 언제부터 무언가가 실패하기 시작했는지와 그 무렵에 무엇이 바뀌었는지 확인할 수 있습니다. 테스트 결과는 쌓여서 하나의 단순하고 지속적인 신호가 됩니다. 앱이 동작하며, 방금 다시 확인한 증거가 여기 있다는 신호입니다.