Skip to content

gaoyechen/redjudge

Repository files navigation

RedJudge

「Risk verdicts, not vibes. 先划证据边界,再给风险裁决。」

Agent Skills Validate Version License: MIT Evidence Aware

当前版本: v1.1.0

RedJudge 把“帮我看看靠谱吗”变成一份 evidence-aware red-team verdict:先扫风险,再确认价值,最后给出 continue / revise / abandon 裁决。 v1.1.0 新增 learning 模式,把同一套 evidence-aware 红队评审用在对知识点的掌握度诊断上:会就是会,不会就指出来薄弱点和混淆点,而不是夸赞和和稀泥。

看效果 · 快速开始 · 触发方式 · 学习模式 · 安全边界 · 验证与测试


RedJudge result card

示例卡片来自 examples/redjudge-result-card.md。它是展示格式,不代表真实市场结论。


它解决什么问题

你让 AI “评价一下”,多数时候会得到温和、圆滑、看起来有帮助但不够刺痛的问题清单。RedJudge 反过来做:先划清证据边界,再找能让方案失败的风险,最后给出一个不能靠好听话糊过去的裁决。

它适合用在你准备投入更多时间、钱或声誉之前:做产品、写文章、定商业方向、评估计划、发布方案、改 PRD、判断一个想法是否值得继续。

RedJudge 不承诺“绝对客观”。它承诺的是:不把假设当事实,不把角色扮演当证据,不把安慰当评审。


效果示例

输入:

/RedJudge product strict:我想做一个 AI 求职陪练 App,目标是 25-35 岁想转行互联网的人。
功能包括模拟面试、简历改写、岗位推荐和学习计划。定价 49 元/月。
先做微信小程序,靠小红书投流获客。你帮我判断靠不靠谱。

输出会包含:

Evidence Boundary: 本评审只基于输入;CAC、竞品、招聘数据、小红书投流成本未核实。

Red Scan:
1. 目标用户过宽,核心场景不成立 🔴
2. MVP 同时塞入四个大功能,价值焦点被稀释 🟡
3. 差异化不足,容易变成通用 AI 包装层 🟡
...

Verdict: revise
Weighted total: 40
Highest-leverage change: 收窄到一个单点垂直 MVP,例如“转行产品经理的 AI 模拟面试 + 简历追问评分”。

Next Validation: 用 24 小时小红书测试验证是否有人愿意付 9.9 元定金。

完整展示见 examples/redjudge-result-card.md


学习模式

v1.1.0 新增的 learning 模式把 RedJudge 从「评审一个方案」扩展到「评审一个学习者的掌握度」。它的核心问题是:学习者说"我懂了",是真的懂了吗?

learning 模式的失败目标很具体:false mastery(假掌握) —— 能背出公式/定理/步骤,但在换种问法、换个边界、加个相邻概念时立刻翻车。这类假掌握最危险,因为它能躲过几周的复习期,让学习者一直以为自己在「打磨」其实在「加固错误」。

和普通评价/批改的差别

普通 AI 批改 RedJudge learning
「做得不错,继续加油」 直接给 已掌握 / 部分掌握 / 表面掌握 / 未掌握
列出对错 列出 🎯 薄弱点🔀 混淆点
「记得下次认真」 给出 📋 重学补丁(具体练习,不是「复习第 X 章」)
给个总评分 5 维评分(概念清晰度 / 边界精度 / 程序熟练度 / 迁移 / 反混淆
假设学习者「基本懂了」 默认起点是 表面掌握,必须用证据升级

4 档裁决

裁决 含义 触发条件(绑定分数)
已掌握 能在敌意出题人面前站住 总分 ≥ 75 且 反混淆 ≥ 7 且无维度低于 6
部分掌握 主线能做对,但有明确的薄弱/混淆带 总分 55-74 且无维度低于 4
表面掌握 看着像会了,换个问法就崩 总分 35-54 或 反混淆 ≤ 5 或两个维度低于 4
未掌握 证据不足,无法给掌握 总分 < 35 或三个维度低于 4 或学习者连概念都说不出来

触发学习模式

  • RedJudge learning:判一下我对 X 掌握得怎么样
  • 批改一下我做的这道题
  • 我这样算掌握 X 了吗
  • RedJudge learning strict:(要求 5 个失败模式 + 至少 2 个混淆点)
  • RedJudge learning quick:(跳过角色和价值确认,直接给掌握度 + 薄弱/混淆/补丁)

触发示例输入

RedJudge learning:我觉得我已经掌握了一元二次方程的求根公式 $x = \frac{-b \pm \sqrt{b^2-4ac}}{2a}$,可以继续往后学了。

题目:解方程 $2x^2 + 3x - 5 = 0$。
我的解答:...
补充:当 $b^2-4ac \ge 0$ 时有实数根,$<0$ 时没实数根但有复数根。

帮我看看我到底有没有真掌握。

完整学习评价示例见 examples/learning-review.md

学习模式不会做的事

  • 不教新内容。 RedJudge learning 是诊断,不是教学。要新讲解、新例题、新练习,去用真正的教学 skill。
  • 不和稀泥。 「整体不错 / 基本掌握 / 你大概懂了」这类措辞在 learning 模式下禁用。裁决必须 4 档之一,绑定到分数。
  • 不放过假掌握。 反混淆是核心维度。学习者必须能说出至少一个相邻概念的明确区分。如果说不出来,裁决上限是 部分掌握。
  • 不给泛泛的下一步。 重学补丁必须是具体练习(用哪道题、用哪个数值、做什么对比),不是「多复习一下」。

快速开始

从 GitHub 安装:

npx skills add gaoyechen/redjudge

如果你已经 clone 到本地仓库根目录,也可以本地安装:

npx skills add . --skill redjudge

装完后对 Agent 说:

/RedJudge product strict:这是我的产品方案……帮我判断靠不靠谱,不要安慰我,先指出能让它失败的问题。

发布到 skills.sh 后,再把 skills.sh 安装计数徽章替换为真实地址。不要在发布前伪造安装计数。


触发方式

这些话应该触发 RedJudge:

  • /RedJudge idea:我有个想法,帮我判断值不值得做。
  • /RedJudge article:评审这篇文章的论证。
  • /RedJudge product strict:这个产品靠不靠谱?
  • /RedJudge learning:判一下我对 X 掌握得怎么样
  • /RedJudge learning strict:(更严,5 个失败模式 + 至少 2 个混淆点)
  • /RedJudge learning quick:(快筛模式)
  • 帮我挑毛病,不要只说好听的。
  • red team this plan before I start building.
  • 这个方案有没有致命风险?
  • 我准备发这个公众号,先帮我做严格评审。
  • 这个商业计划是不是自嗨?
  • 批改一下我做的这道题
  • 我这样算掌握 X 了吗

这些话不应该触发 RedJudge:

  • 帮我头脑风暴 20 个点子。
  • 只夸优点,不要批评。
  • 帮我润色语气。
  • 查一下今天某个产品的价格。
  • 直接把这个文件改掉。
  • 教我一下 X 怎么学(这是教学需求,RedJudge learning 只诊断不教)
  • 鼓励一下我,我觉得我学不下去了(这是情绪需求,不是诊断)

能做什么 / 它会交付什么

能力 交付物 典型用途
Evidence Boundary 明确哪些来自输入、哪些需要核实 防止把假设说成事实
Red Scan 3 个默认风险;strict 模式 5 个 先找失败点,不先安慰
Multi-Perspective Review 3-4 个匹配角色的异议 从用户、执行者、竞品、编辑等视角找盲点
Value Confirmation 只确认未被风险击穿的价值点 避免纯负面表演
Verdict continue / revise / abandon + weighted total 给出可行动的判断
Next Validation 一个最高杠杆验证动作 让下一步不是泛泛建议

它和同类有什么不同

对象 常见做法 RedJudge 的差异
普通 critique prompt 直接列优缺点 先划 Evidence Boundary,再做 Red Scan
anti-sycophancy prompt 反对迎合,但未必给裁决 RedJudge 必须给 continue / revise / abandon
code review skill 聚焦 PR、代码、架构 RedJudge 覆盖 idea / article / product / plan / draft
多代理 tribunal 重流程、多 reviewer RedJudge 默认单轮轻量,strict 时再提高强度
LLM eval framework 适合系统化 benchmark RedJudge 是人类决策前的轻量评审协议

参考同行与打磨记录见 references/luban-audit-2026-06-13.md


安全边界

RedJudge 默认只做评审,不执行外部动作:

  • 不会自动修改文件、提交代码、发布内容、发消息或调用付费 API。
  • 不会把未核实的市场、法律、医疗、金融、安全事实当作结论。
  • 不会为了显得严厉而编造风险。
  • 不会在用户只要正面反馈时偷偷运行红队评审。
  • 高风险、时效性、事实依赖强的判断必须核实;无法核实时标成 Unverified Assumption

文件结构

redjudge/
├── SKILL.md                         # Agent-facing RedJudge protocol (with learning mode)
├── README.md                        # Public landing page and usage guide
├── LICENSE                          # MIT license
├── CHANGELOG.md                     # Version history
├── assets/
│   └── redjudge-result-card.svg      # Static showcase card
├── evals/
│   └── evals.json                    # Regression prompts (incl. 3 learning-mode cases)
├── examples/
│   ├── article-review.md             # Style example
│   ├── idea-review.md                # Style example
│   ├── learning-review.md            # Learning-mode example (false mastery)
│   ├── product-review.md             # Style example
│   └── redjudge-result-card.md       # Screenshot-friendly result card
├── references/
│   ├── anti-sycophancy-rules.md
│   ├── dimension-templates.md
│   ├── learning-dimensions.md        # 5-dimension mastery rubric + 4-level verdict
│   ├── learning-output-format.md     # Mandatory Weak/Confusion/Patch blocks
│   ├── luban-audit-2026-06-13.md
│   └── verdict-rubric.md
└── scripts/
    ├── check-redjudge-evals.py       # Package/eval validator
    └── check-redjudge-evals.sh       # Shell wrapper

验证与测试

运行静态验证:

python scripts/check-redjudge-evals.py

或:

bash scripts/check-redjudge-evals.sh

代表性测试用例在 evals/evals.json。它们覆盖:

  1. product strict:必须给 5 个 evidence-backed risks;
  2. article:必须把未核实外部事实标成假设;
  3. vague input:必须先索要上下文;
  4. quick mode:必须输出压缩版,不跑完整长评审;
  5. positive-only near miss:必须拒绝把 RedJudge 用成夸奖工具;
  6. learning 表面掌握(false mastery):必须识别假掌握、列薄弱点/混淆点/重学补丁;
  7. learning 已掌握:必须给 已掌握、反混淆 ≥ 7、混淆点 近乎空;
  8. learning 未掌握(empty evidence):必须拒绝给宽松裁决,强制要求做题。

学习评价的完整风格示例见 examples/learning-review.md


版本说明

  • 当前版本:v1.1.0
  • 正式发布页:https://github.com/gaoyechen/redjudge/releases
  • 变更记录:https://github.com/gaoyechen/redjudge/blob/main/CHANGELOG.md
  • 版本管理采用语义化版本:v1.0.x 用于小修复,v1.1.0 用于功能增强,v2.0.0 用于较大改动。
  • 每次发版至少同步记录:这次改了什么、哪些验证通过了、下一版优先做什么。
  • 当前 SKILL.md frontmatter 不单独维护 version 字段,版本信息以 GitHub Release 和 CHANGELOG.md 为准。

发布前清单

  • SKILL.md 有强触发 description(覆盖 learning 模式触发词)。
  • README 有钩子、示例、安装、触发方式、安全边界、验证方式、学习模式章节。
  • LICENSE 已补。
  • evals/evals.json 已补(含 3 条 learning 用例:shaky / mastered / not_learned)。
  • 可截图结果卡已补。
  • GitHub 安装命令已替换为 gaoyechen/redjudge
  • learning 模式资产齐全:references/learning-dimensions.mdreferences/learning-output-format.mdexamples/learning-review.md
  • scripts/check-redjudge-evals.py 校验 learning 资产通过。
  • 发布到 skills.sh 后,加真实徽章,不用占位徽章冒充计数。
  • 如目标是 ClawHub / Claude plugin marketplace,再补对应 manifest。

License

MIT


先划证据边界,再给风险裁决。

About

Evidence-aware adversarial review skill for AI agents

Topics

Resources

License

Stars

0 stars

Watchers

0 watching

Forks

Packages

 
 
 

Contributors