実行結果の読み方

すべてのテスト実行はレポートを生成します。単なる青信号や赤信号ではなく、何が実行され、何が成功し、何が失敗し、実行中に実際に何をしたかの説明です。

判定とチェック

最上位では、実行には判定があります。passed、failed、errored のいずれかです。その下で、結果はテストファイルごとにグループ化され、個々のチェックが一覧になります。名前、ステータス、所要時間です。何かが失敗した場合、失敗内容は具体的です。どのチェック、どのアサーション、何が期待され、実際には何が起きたかが示されます。

これらの結果は、あなただけのものではありません。構造化データとして Kliv に戻るため、コードを書いた AI はあなたと同じ失敗を読み、対応できます。失敗したチェックはサポートチケットではなく、修正の始まりです。

副作用の記録

シナリオ実行の場合、レポートには多くのテスト環境では出せないものが含まれます。その実行が外の世界に対して行ったすべての記録です。実際のものも、捕捉されたものも含まれます。

  • 書いたデータ:どのテーブルに書き込んだか、各書き込みが使い捨てコピー上で受け入れられたか、アプリのセキュリティルールによってブロックされたか(具体的な理由付きなので、許可失敗はそれ自体を説明します)。
  • 送るはずだったメール:受信者と内容。配信ではなく捕捉されます。
  • 接続サービスへの呼び出し:同じ方法で捕捉されます。

これにより、曖昧な赤い X が追えるストーリーになります。フローは支払いステップに到達し、注文行を書き込み、触れるべきでないテーブルへの書き込みでブロックされ、確認メールを 1 通送るはずだった、という具合です。問いが*「これは実際に何をしたのか?」*であれば、答えはレポートにあります。

公開のゲート

シナリオの判定は公開のゲートにできます。重要とマークしたフローが失敗した場合、公開は停止し、レポートが理由を示します。つまり「この変更を公開して安全か」という問いには機械的な答えがあります。テストがそれを証明するか、証明しないかです。

履歴

実行は時間とともに保持されるため、何かがいつ失敗し始めたか、その周辺で何が変わったかを確認できます。テスト結果は、シンプルで継続的なシグナルとして蓄積されます。アプリは動いており、その証拠があり、最新の状態で再確認されています。