读取运行结果

每次测试运行都会生成一份报告。它不只是一个绿色或红色信号,而是一份记录:运行了什么、什么通过了、什么失败了,以及这次运行一路上实际做了什么。

结论和检查

在最高层级,一次运行会有一个结论:通过、失败或出错。其下方,结果会按测试文件分组,并列出每一项单独检查:名称、状态,以及耗时。当某项失败时,失败信息会很具体:哪项检查、哪个断言、预期是什么、实际发生了什么。

这些结果不只给你看。它们会作为结构化数据返回给 Kliv,因此编写代码的 AI 会读取与你相同的失败信息,并可以据此行动。一次失败的检查是修复的开始,而不是一张支持工单。

副作用记录

对于场景(Scenario)运行,报告会包含大多数测试设置无法生成的内容:这次运行对外部世界所做一切的记录,无论是真实发生还是被捕获。

  • 它写入的数据 —— 写入了哪些表,以及每次写入是在一次性副本上被接受,还是被你的应用安全规则阻止(并附带具体原因,因此权限失败会自行说明原因)。
  • 它本会发送的邮件 —— 收件人和内容,会被捕获而不是投递。
  • 对已连接服务的调用 —— 以同样方式被捕获。

这会把一个模糊的红色 X 变成一段你可以跟随的故事:流程到达了付款步骤,写入了订单行,在写入不该触碰的表时被阻止,并且本会发送一封确认邮件。当问题是 “这实际上做了什么?” 时,答案就在报告中。

阻止发布

场景结论可以阻止发布:如果你标记为关键的流程失败,发布会停止,报告会说明原因。这意味着“发布这个更改是否安全?”这个问题有了机械答案:测试要么证明它安全,要么不能证明。

历史

运行会随时间保留,因此你可以看到某个问题从什么时候开始失败,以及它周围发生了什么变化。测试结果会累积成一个简单、持续存在的信号:应用可以工作,并且这里有刚刚重新检查过的证据。