Skip to content

About

When your AI agent reports a UI test FAIL, is it real? — 九类失败归因法 + 取证与判定解耦

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

4 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 

Repository files navigation

ai-test-attribution

当 AI Agent 跑 UI 测试:你怎么知道一个 FAIL 是真的? When your agent reports a UI test FAIL, is it real?

一篇关于「测试结论可信度」的长文:三个真实误判事故(合计 15 条假 FAIL)、一套九类失败归因法(failure_class)、以及四条可勾选的自检清单。

核心论点

自动化测试的可信度,不取决于你跑通了多少条,而取决于你能否说清每一条为什么挂。

The credibility of a test suite is not how many cases pass. It's whether you can explain why each failure failed.

内容

  1. 问题的形状:「我没有观察到」≠「它不存在」
  2. 事故一:取证通道失败被当成断言失败(7 条假 FAIL)
  3. 事故二:DOM 断言的四个假阳性陷阱(8 条假 FAIL)
  4. 事故三:把构建默认行为当缺陷(连续归因错 2 次)
  5. 解法:failure_class 九类归因法 + 两条硬规则
  6. 自检清单(断言 / 证据 / 归因 / 元层)

License

文字内容采用 CC BY 4.0。

About

When your AI agent reports a UI test FAIL, is it real? — 九类失败归因法 + 取证与判定解耦

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages