「Risk verdicts, not vibes. 先划证据边界,再给风险裁决。」
当前版本: v1.1.0
RedJudge 把“帮我看看靠谱吗”变成一份 evidence-aware red-team verdict:先扫风险,再确认价值,最后给出 continue / revise / abandon 裁决。 v1.1.0 新增 learning 模式,把同一套 evidence-aware 红队评审用在对知识点的掌握度诊断上:会就是会,不会就指出来薄弱点和混淆点,而不是夸赞和和稀泥。
示例卡片来自 examples/redjudge-result-card.md。它是展示格式,不代表真实市场结论。
你让 AI “评价一下”,多数时候会得到温和、圆滑、看起来有帮助但不够刺痛的问题清单。RedJudge 反过来做:先划清证据边界,再找能让方案失败的风险,最后给出一个不能靠好听话糊过去的裁决。
它适合用在你准备投入更多时间、钱或声誉之前:做产品、写文章、定商业方向、评估计划、发布方案、改 PRD、判断一个想法是否值得继续。
RedJudge 不承诺“绝对客观”。它承诺的是:不把假设当事实,不把角色扮演当证据,不把安慰当评审。
输入:
/RedJudge product strict:我想做一个 AI 求职陪练 App,目标是 25-35 岁想转行互联网的人。
功能包括模拟面试、简历改写、岗位推荐和学习计划。定价 49 元/月。
先做微信小程序,靠小红书投流获客。你帮我判断靠不靠谱。
输出会包含:
Evidence Boundary: 本评审只基于输入;CAC、竞品、招聘数据、小红书投流成本未核实。
Red Scan:
1. 目标用户过宽,核心场景不成立 🔴
2. MVP 同时塞入四个大功能,价值焦点被稀释 🟡
3. 差异化不足,容易变成通用 AI 包装层 🟡
...
Verdict: revise
Weighted total: 40
Highest-leverage change: 收窄到一个单点垂直 MVP,例如“转行产品经理的 AI 模拟面试 + 简历追问评分”。
Next Validation: 用 24 小时小红书测试验证是否有人愿意付 9.9 元定金。
完整展示见 examples/redjudge-result-card.md。
v1.1.0 新增的 learning 模式把 RedJudge 从「评审一个方案」扩展到「评审一个学习者的掌握度」。它的核心问题是:学习者说"我懂了",是真的懂了吗?
learning 模式的失败目标很具体:false mastery(假掌握) —— 能背出公式/定理/步骤,但在换种问法、换个边界、加个相邻概念时立刻翻车。这类假掌握最危险,因为它能躲过几周的复习期,让学习者一直以为自己在「打磨」其实在「加固错误」。
| 普通 AI 批改 | RedJudge learning |
|---|---|
| 「做得不错,继续加油」 | 直接给 已掌握 / 部分掌握 / 表面掌握 / 未掌握 |
| 列出对错 | 列出 🎯 薄弱点 和 🔀 混淆点 |
| 「记得下次认真」 | 给出 📋 重学补丁(具体练习,不是「复习第 X 章」) |
| 给个总评分 | 5 维评分(概念清晰度 / 边界精度 / 程序熟练度 / 迁移 / 反混淆) |
| 假设学习者「基本懂了」 | 默认起点是 表面掌握,必须用证据升级 |
| 裁决 | 含义 | 触发条件(绑定分数) |
|---|---|---|
已掌握 |
能在敌意出题人面前站住 | 总分 ≥ 75 且 反混淆 ≥ 7 且无维度低于 6 |
部分掌握 |
主线能做对,但有明确的薄弱/混淆带 | 总分 55-74 且无维度低于 4 |
表面掌握 |
看着像会了,换个问法就崩 | 总分 35-54 或 反混淆 ≤ 5 或两个维度低于 4 |
未掌握 |
证据不足,无法给掌握 | 总分 < 35 或三个维度低于 4 或学习者连概念都说不出来 |
RedJudge learning:判一下我对 X 掌握得怎么样批改一下我做的这道题我这样算掌握 X 了吗RedJudge learning strict:(要求 5 个失败模式 + 至少 2 个混淆点)RedJudge learning quick:(跳过角色和价值确认,直接给掌握度 + 薄弱/混淆/补丁)
RedJudge learning:我觉得我已经掌握了一元二次方程的求根公式 $x = \frac{-b \pm \sqrt{b^2-4ac}}{2a}$,可以继续往后学了。
题目:解方程 $2x^2 + 3x - 5 = 0$。
我的解答:...
补充:当 $b^2-4ac \ge 0$ 时有实数根,$<0$ 时没实数根但有复数根。
帮我看看我到底有没有真掌握。
完整学习评价示例见 examples/learning-review.md。
- 不教新内容。 RedJudge learning 是诊断,不是教学。要新讲解、新例题、新练习,去用真正的教学 skill。
- 不和稀泥。 「整体不错 / 基本掌握 / 你大概懂了」这类措辞在 learning 模式下禁用。裁决必须 4 档之一,绑定到分数。
- 不放过假掌握。 反混淆是核心维度。学习者必须能说出至少一个相邻概念的明确区分。如果说不出来,裁决上限是 部分掌握。
- 不给泛泛的下一步。 重学补丁必须是具体练习(用哪道题、用哪个数值、做什么对比),不是「多复习一下」。
从 GitHub 安装:
npx skills add gaoyechen/redjudge如果你已经 clone 到本地仓库根目录,也可以本地安装:
npx skills add . --skill redjudge装完后对 Agent 说:
/RedJudge product strict:这是我的产品方案……帮我判断靠不靠谱,不要安慰我,先指出能让它失败的问题。
发布到 skills.sh 后,再把 skills.sh 安装计数徽章替换为真实地址。不要在发布前伪造安装计数。
这些话应该触发 RedJudge:
/RedJudge idea:我有个想法,帮我判断值不值得做。/RedJudge article:评审这篇文章的论证。/RedJudge product strict:这个产品靠不靠谱?/RedJudge learning:判一下我对 X 掌握得怎么样/RedJudge learning strict:(更严,5 个失败模式 + 至少 2 个混淆点)/RedJudge learning quick:(快筛模式)帮我挑毛病,不要只说好听的。red team this plan before I start building.这个方案有没有致命风险?我准备发这个公众号,先帮我做严格评审。这个商业计划是不是自嗨?批改一下我做的这道题我这样算掌握 X 了吗
这些话不应该触发 RedJudge:
帮我头脑风暴 20 个点子。只夸优点,不要批评。帮我润色语气。查一下今天某个产品的价格。直接把这个文件改掉。教我一下 X 怎么学(这是教学需求,RedJudge learning 只诊断不教)鼓励一下我,我觉得我学不下去了(这是情绪需求,不是诊断)
| 能力 | 交付物 | 典型用途 |
|---|---|---|
| Evidence Boundary | 明确哪些来自输入、哪些需要核实 | 防止把假设说成事实 |
| Red Scan | 3 个默认风险;strict 模式 5 个 | 先找失败点,不先安慰 |
| Multi-Perspective Review | 3-4 个匹配角色的异议 | 从用户、执行者、竞品、编辑等视角找盲点 |
| Value Confirmation | 只确认未被风险击穿的价值点 | 避免纯负面表演 |
| Verdict | continue / revise / abandon + weighted total | 给出可行动的判断 |
| Next Validation | 一个最高杠杆验证动作 | 让下一步不是泛泛建议 |
| 对象 | 常见做法 | RedJudge 的差异 |
|---|---|---|
| 普通 critique prompt | 直接列优缺点 | 先划 Evidence Boundary,再做 Red Scan |
| anti-sycophancy prompt | 反对迎合,但未必给裁决 | RedJudge 必须给 continue / revise / abandon |
| code review skill | 聚焦 PR、代码、架构 | RedJudge 覆盖 idea / article / product / plan / draft |
| 多代理 tribunal | 重流程、多 reviewer | RedJudge 默认单轮轻量,strict 时再提高强度 |
| LLM eval framework | 适合系统化 benchmark | RedJudge 是人类决策前的轻量评审协议 |
参考同行与打磨记录见 references/luban-audit-2026-06-13.md。
RedJudge 默认只做评审,不执行外部动作:
- 不会自动修改文件、提交代码、发布内容、发消息或调用付费 API。
- 不会把未核实的市场、法律、医疗、金融、安全事实当作结论。
- 不会为了显得严厉而编造风险。
- 不会在用户只要正面反馈时偷偷运行红队评审。
- 高风险、时效性、事实依赖强的判断必须核实;无法核实时标成
Unverified Assumption。
redjudge/
├── SKILL.md # Agent-facing RedJudge protocol (with learning mode)
├── README.md # Public landing page and usage guide
├── LICENSE # MIT license
├── CHANGELOG.md # Version history
├── assets/
│ └── redjudge-result-card.svg # Static showcase card
├── evals/
│ └── evals.json # Regression prompts (incl. 3 learning-mode cases)
├── examples/
│ ├── article-review.md # Style example
│ ├── idea-review.md # Style example
│ ├── learning-review.md # Learning-mode example (false mastery)
│ ├── product-review.md # Style example
│ └── redjudge-result-card.md # Screenshot-friendly result card
├── references/
│ ├── anti-sycophancy-rules.md
│ ├── dimension-templates.md
│ ├── learning-dimensions.md # 5-dimension mastery rubric + 4-level verdict
│ ├── learning-output-format.md # Mandatory Weak/Confusion/Patch blocks
│ ├── luban-audit-2026-06-13.md
│ └── verdict-rubric.md
└── scripts/
├── check-redjudge-evals.py # Package/eval validator
└── check-redjudge-evals.sh # Shell wrapper
运行静态验证:
python scripts/check-redjudge-evals.py或:
bash scripts/check-redjudge-evals.sh代表性测试用例在 evals/evals.json。它们覆盖:
- product strict:必须给 5 个 evidence-backed risks;
- article:必须把未核实外部事实标成假设;
- vague input:必须先索要上下文;
- quick mode:必须输出压缩版,不跑完整长评审;
- positive-only near miss:必须拒绝把 RedJudge 用成夸奖工具;
- learning 表面掌握(false mastery):必须识别假掌握、列薄弱点/混淆点/重学补丁;
- learning 已掌握:必须给 已掌握、反混淆 ≥ 7、混淆点 近乎空;
- learning 未掌握(empty evidence):必须拒绝给宽松裁决,强制要求做题。
学习评价的完整风格示例见 examples/learning-review.md。
- 当前版本:
v1.1.0 - 正式发布页:
https://github.com/gaoyechen/redjudge/releases - 变更记录:
https://github.com/gaoyechen/redjudge/blob/main/CHANGELOG.md - 版本管理采用语义化版本:
v1.0.x用于小修复,v1.1.0用于功能增强,v2.0.0用于较大改动。 - 每次发版至少同步记录:这次改了什么、哪些验证通过了、下一版优先做什么。
- 当前
SKILL.mdfrontmatter 不单独维护version字段,版本信息以 GitHub Release 和CHANGELOG.md为准。
-
SKILL.md有强触发 description(覆盖 learning 模式触发词)。 - README 有钩子、示例、安装、触发方式、安全边界、验证方式、学习模式章节。
-
LICENSE已补。 -
evals/evals.json已补(含 3 条 learning 用例:shaky / mastered / not_learned)。 - 可截图结果卡已补。
- GitHub 安装命令已替换为
gaoyechen/redjudge。 - learning 模式资产齐全:
references/learning-dimensions.md、references/learning-output-format.md、examples/learning-review.md。 -
scripts/check-redjudge-evals.py校验 learning 资产通过。 - 发布到 skills.sh 后,加真实徽章,不用占位徽章冒充计数。
- 如目标是 ClawHub / Claude plugin marketplace,再补对应 manifest。
先划证据边界,再给风险裁决。