当 AI Agent 跑 UI 测试:你怎么知道一个 FAIL 是真的? When your agent reports a UI test FAIL, is it real?
一篇关于「测试结论可信度」的长文:三个真实误判事故(合计 15 条假 FAIL)、一套九类失败归因法(failure_class)、以及四条可勾选的自检清单。
- 在线阅读:https://jeffchan702.github.io/ai-test-attribution/
- 文章源(Markdown):
article.md
自动化测试的可信度,不取决于你跑通了多少条,而取决于你能否说清每一条为什么挂。
The credibility of a test suite is not how many cases pass. It's whether you can explain why each failure failed.
- 问题的形状:「我没有观察到」≠「它不存在」
- 事故一:取证通道失败被当成断言失败(7 条假 FAIL)
- 事故二:DOM 断言的四个假阳性陷阱(8 条假 FAIL)
- 事故三:把构建默认行为当缺陷(连续归因错 2 次)
- 解法:
failure_class九类归因法 + 两条硬规则 - 自检清单(断言 / 证据 / 归因 / 元层)
文字内容采用 CC BY 4.0。