---
title: "决策模型（System One）"
author: "陈成"
author_url: "https://research.sorrycc.dev/@sorrycc"
question: "决策模型是什么，谁在做，效果如何，agent harness 和 qodercli 怎么用？"
url: "https://research.sorrycc.dev/@sorrycc/decision-models"
emoji: "⚖️"
published: 2026-10-29T13:21:38Z
updated: 2026-10-29T13:21:37Z
version: 3
cite: "https://research.sorrycc.dev/@sorrycc/decision-models.bib"
---

# 决策模型（"System One" 模型）调研

By [陈成](https://research.sorrycc.dev/@sorrycc) · Published October 29, 2026

> 决策模型是什么，谁在做，效果如何，agent harness 和 qodercli 怎么用？

> 2026-10-28 · 来源：X 书签（约 40 条相关）+ 评论区、X 搜索、Reddit（r/LocalLLaMA、r/LocalLLM、r/LLMDevs、r/CloudFlare）、Cloudflare / OpenAI / hamel.dev 原文，以及 qodercli 源码。

## TL;DR

- **它是什么**：输入「状态 + 一组带候选答案的问题」，**一次前向传播**就为每个候选给出概率。模型不生成文本，所以不会编出候选之外的答案。三种题型：`noul`/`predicate`（是否）、`choice`（多选一）、`score`（有序打分）。
- **时间线**：9/16 TypeSafe 发布 Jev → 9/30 OpenAI Decisions API 有限预览 → 10/1 Cloudflare 开源 Clef → 10/2 Perplexity 发布 Decider API 并开源 27B → 10/7 OpenAI 公测 → 10/23 OpenAI GA，同日 Perplexity 推出 Decider for Mac（本地 4B）。一个多月里出现了十几家（Liquid d1、Mercury Decide、Solar Decide、Microsoft-Decision-1、Kev、Laya、CLM……），有人统计到 106 个系统。
- **优势**：价格和延迟。Jev 输入 $0.042/MTok，输出免费，单次约 150–500ms；Perplexity Decider 约 $0.04/MTok；OpenAI 为 $0.10/MTok（缓存 $0.01）。
- **短板**：遇到「要读懂规则再算一两步」的硬题会掉点；选项顺序会影响结果；0.5 默认阈值经常不对；部分厂商的产品只是在 LLM 外面套了一层。
- **在 agent harness 里的定位**：在 agent 循环的决策点上用 System One 做判断，System Two（前沿 LLM）只处理低置信度和真正需要推理的部分。社区原话是 *"the expensive model thinks, the cheap one decides"*。
- **qodercli**：auto mode 已经接了 Jev（`jev-classifier.ts`，有 shadow/enabled 两个灰度开关），还有 `judgment/` 抽象（typesafe + bailian 两个后端）。下一步可以用这套 Judge 做 skill 路由、prompt hook 和子 agent 路由，详见第 6 节。

---

## 1. 概念：System One vs System Two

```mermaid
flowchart LR
    S[State<br/>文本 / JSON / 图片] --> Q{Questions<br/>noul · choice · score}
    Q --> D[决策模型<br/>prefill 一次<br/>并行给每个候选打分]
    D --> P["typed answer + 概率<br/>{choice:'technical', p:0.93}"]
    P -->|p ≥ 阈值| A[代码直接执行 / 路由]
    P -->|p < 阈值| L[升级到 LLM / 人工]
```

| | System One（决策模型） | System Two（LLM） |
|---|---|---|
| 输出 | 预定义选项上的概率分布 | 自由文本 / tool call |
| 计算 | prefill 后对候选做并行打分，非自回归 | 逐 token 生成，可推理 |
| 延迟 | 几十到几百 ms | 秒级 |
| 幻觉 | 只能在给定选项里选 | 可能编造 |
| 适合 | 路由、分类、gate、judge、从候选里选元素或命令 | 规划、写代码、多步推理 |

技术路线（据 Cloudflare 博客和 elvis 的对比）：
- **Jev**：RLCD（Reinforcement Learning for Calibrated Decisions）训练，目标是概率校准。
- **Clef**：冻结 Qwen 主干，加 LoRA 和路由头，用 Brier loss 校准，同样借用 RLCD 作为次级优化目标。
- **CLM**：对比学习，把 state 和候选 action 嵌入后算相似度，比 Jev 快约 9 倍，但有人实测 JevBench 只有 45.5%（Jev 86.6%）。
- **Kev / Laya**：开源复刻，可以本地跑。Kev 的做法是 Qwen3 + LoRA + pointer head。

## 2. 主要玩家对比

| 产品 | 发布 | 形态 | 价格 / 延迟 | 关键点 |
|---|---|---|---|---|
| **TypeSafe Jev** | 9/16 | 闭源 API（Vercel AI Gateway 可用） | $0.042/MTok 输入，输出免费；实测约 160–200ms | 开创者，作者 Diogo Almeida（参与过 ChatGPT 的 instruction-following 工作）；只支持文本，32k 上下文 |
| **OpenAI Decisions API** | 9/30 预览 → 10/7 公测 → **10/23 GA** | 基于 GPT‑6 Luna | $0.10/MTok（缓存 $0.01）；官方称比 Responses API 快 10 倍 | 题型 predicate/choice/score；单次请求最多 400 题；原生 JSON 和图片输入；集成 GPT‑Live 语音；可选 US/EU 推理驻留 |
| **Cloudflare Clef / Clef‑flash** | 10/1 | 开源 Apache‑2.0（Qwen3.8‑27B / Qwen3.5‑9B）+ Workers AI 托管 | 自测中位延迟 209ms / 39ms | 兼容 Jev API；多模态；64k 上下文；提供 RL 微调服务；后续发布了 Clef‑omni（音视频） |
| **Perplexity Decider** | 10/2 | 开源 pplx‑decider‑v1‑27b、flash 4B/5B（有 GGUF） | 约 $0.04/MTok；v1.2 宣称成本是 Luna 的 1/10、Jev 的 1/2.5 | 10/23 推出 Decider for Mac，本地运行、无需 API key |
| 其他 | 9–10 月 | Liquid d1、Mercury Decide、Solar Decide、MS‑Decision‑1、MedDecider、JEV‑27B‑VL…… | — | 有人维护 benchmarkheaven.com/jev-models，已收录 106 个 |

```mermaid
timeline
    title 决策模型 2026 时间线
    9月16日 : TypeSafe 发布 Jev（4000 万浏览）
    9月17-24日 : Vercel Gateway 上线 Jev : Kev / Laya / CLM 等开源复刻
    9月30日 : OpenAI Decisions API 有限预览
    10月1-2日 : Cloudflare Clef 开源 : Perplexity Decider API + 开源 27B
    10月7日 : OpenAI Decisions 公测
    10月21日 : Hamel《How To Use Decision Models for Evals》
    10月23日 : OpenAI Decisions GA : Decider for Mac
```

## 3. 评测与争议

**官方或厂商数据**
- Cloudflare 博客：Clef 在 BFCL、BANKING77、CLINC150 等基准上大多领先 Jev，在 TypeSafe 自己的 4 个 workflow eval 里赢了 3 个。

**第三方实测，结论不一**
- **Hamel Husain**（[博客](https://hamel.dev/blog/posts/decision-model-evals/)），任务是从 100 条租房 agent trace 里找出失败的那些：
  - OpenAI Decisions 的 F1 最高（0.87），成本 3.72 美分/100 次；
  - Perplexity 最便宜（0.82 美分），F1 0.79；
  - **核心建议：别直接用 0.5 默认阈值。** 先按业务定 precision/recall 下限，再用交叉验证调阈值；必要时做 Platt 校准；每种失败模式单独建一个 judge。
- **HiringCafe**（[X](https://x.com/h_nilforoshan/status/2107643820150308932)），500 条人工标注的职位相关性：Jev Spearman 0.74，OpenAI 0.71；OpenAI 贵一倍，效果差 5–10%。
- **Reddit r/LocalLLM**（[帖子](https://www.reddit.com/r/LocalLLM/comments/1x35tkp/i_tested_14_decision_models_against_local_llms_on/)），56 个分诊任务：本地 Qwen3.5‑9B 跑出 97.3%，比所有决策模型都高（Solar 95.5，Jev 92.0，Clef 86.6）。决策模型在硬题上的得分是 68–95。评论区反驳：*决策模型卖的是效率，不是智力*。90% 的准确率加上几乎可以忽略的成本，对很多场景已经够用。
- **延迟**（[r/LLMDevs](https://www.reddit.com/r/LLMDevs/comments/1xasedl/jev_vs_clef_vs_openai_decisions_api/)，6 个城市每日测）：Jev 195ms，OpenAI 208ms，Clef 344ms。OpenAI 在美国以外冷启动要 1–2s。
- **Clef 上线首日**（[r/CloudFlare](https://www.reddit.com/r/CloudFlare/comments/1ww3qw5/are_clef_and_clefflash_just_bad/)）：免费档输入被截断在 2194 token，延迟 315–950ms；付费用户也说比 Jev 差。Workers AI PM 回应是首日流量问题。

**质疑声音**
- 「Llama 2 时代用 constrained sampling 加 logits 就能做，现在是把 LLM 分类器换个名字」（[r/LocalLLM](https://www.reddit.com/r/LocalLLM/comments/1xdj8tm/the_irony_of_jevdecision_models/)）。反方的回答是：区别在于专门做过概率校准，而且不用为推理 token 付费。
- 「多数后来者只是给 LLM 套了 harness 和输出约束，并不是从头训练的 System One」。这条主要针对 Clef 和 OpenAI。
- 回复里反复出现的担忧：要有 abstain 选项；**confidently-wrong** 的比例比预期大；固定选项下能快 200 倍，但动作空间是动态的时候收益会缩水；失败后的重试会吃掉成本优势。

## 4. 实践技巧（来自评论区）

1. **先问充分性，再问意图**（[@parcadei](https://x.com/parcadei/status/2101801605121094138)）：证据不足时，选项顺序会主导答案；单独加一个 IDK 选项没用（80 次里 0 次被选）。正确做法是先问「state 里的证据是否足以回答」，在标注数据上校准出阈值，达标后再问意图，不达标就先去补证据。
2. **高置信度直接执行，低置信度升级**（[@omarsar0 Jev‑as‑a‑Judge](https://x.com/omarsar0/status/2102934356108972278)）：对高置信度的结论直接采纳，低置信度交给 GPT‑6 或 Opus 5.5。有用户实测分类准确率约 77%，在能容忍误差的流水线里依然划算。
3. **决策模型只负责决策点，循环交给 agent**（[@mdlahfir](https://x.com/mdlahfir/status/2100390804888142007)）：Jev 回答「点哪个元素、用哪个命令」，执行、验证和处理 stale 元素由 agent 负责。每个候选附上 what（角色和标签）、where（祖先路径）、supports（支持的操作）。
4. **按子 agent 路由，不要按请求路由**（[@da_fant](https://x.com/da_fant/status/2100659471257366766)）：逐请求路由会破坏 prompt cache，应在新开子 agent 时做一次路由。
5. **让 harness 先准备好候选**（[@AnnatarXBT](https://x.com/AnnatarXBT/status/2105550278359662756)）：Jev 只在 harness 已经准备并校验过的选项里挑。这个用户把 forks 的成本从每天 $110 降到 $4。
6. 选项要结构化（instructions、criteria、源文档分开写），参见 [TypeSafe docs](https://docs.typesafe.ai/primitives/advanced)。

## 5. Agent harness 里的典型用法

```mermaid
flowchart TB
    U[用户消息 / 事件] --> R{决策模型：路由}
    R -->|机械任务| H[Haiku / 便宜模型]
    R -->|难任务| O[Opus 子 agent]
    R -->|长任务| X[外部 harness]
    R -->|只是通知| Q[入队，不唤醒 orchestrator]
    O --> T[tool call]
    T --> G{决策模型：安全 gate<br/>allow / ask / block}
    G -->|allow p高| E[执行]
    G -->|不确定| L[LLM 两阶段分类器 / 人工]
    E --> F{失败?}
    F -->|是| RP{决策模型：选恢复路径}
    E --> C{决策模型：压缩时<br/>哪些 tool 结果保留}
```

| 场景 | 例子 |
|---|---|
| 模型 / harness 路由 | [@mdlahfir](https://x.com/mdlahfir/status/2100314182201802811)：在 hook 里分流，机械任务给 Haiku，难任务给 Opus 子 agent，长任务交给外部 harness；[jev-router](https://github.com/gargpratyush/jev-router)；[jev-pilot](https://github.com/Akramovic1/jev-pilot) 按 prompt 调 Claude Code 的 effort（置信度 ≥0.6 才调低）；JevRouter 负责挑选模型、子 agent、skill 和工具 |
| 自动审批 / 安全 gate | [fx auto mode](https://x.com/fazxes/status/2100300097695232164)：Jev 比 gpt‑5.6‑luna 快 5–18 倍且更准（也有人复现后发现准确率并未更高）；把关 PR 能否自动合并 |
| Context 收集与压缩 | [jevgrep](https://github.com/dzhng/jevgrep)：SWE‑bench 上成本降 40%；fast‑jev‑compaction 给每个 tool 结果打分，保留原文而不做摘要（「decide what survives」） |
| Eval / Judge | [Hamel 的文章](https://hamel.dev/blog/posts/decision-model-evals/)；从生产 trace 里筛选信号 |
| Computer / Browser use | [Browser Use + Jev](https://github.com/browser-use/jev-ultrafast)：订一次航班约 7s、$0.0039；[agent-desktop](https://github.com/lahfir/agent-desktop)；Lightpanda 登录：Jev 0.53s，Haiku 7.83s |
| 实时交互 | Thariq 的 AI 原生 Dock 实时分类活动和通知（[X](https://x.com/trq212/status/2115135857669881939)，70 万浏览）；语音控制浏览器约 300ms 一次；GPT‑Live 语音触发 |
| 编排层降本 | 子 agent 的回复或新消息到来时，先由 Jev 判断是直接路由、入队，还是唤醒昂贵的 orchestrator（唤醒一次约 $1） |

## 6. 对 qodercli 的启示

**现状**（读源码确认）
- `packages/core/src/judgment/`：`Judge` 接口，题型 choice/noul/score 与 Jev schema 一致，已有 `typesafe.ts` 和 `bailian.ts` 两个后端。
- `permissions/permission-modes/auto/jev-classifier.ts`：auto mode 已有 Jev 分类器（`JEV_AUTO_POLICY` 以及 `jev-multi-policy` 多问题策略），由 `auto_mode_jev` 和 `auto_mode_jev_shadow` 两个 QCS 灰度开关控制，shadow 模式会和 LLM 两阶段分类器的结果对比。
- `hooks/types.ts`：`PromptHookConfig` 目前是单轮 LLM 调用，返回 `{decision, reason}`。

**建议**（按收益排序）
1. **auto‑approve 做成级联**：Jev 高置信度的 allow/block 直接采纳，低置信度或 HARD BLOCK 边界的情况交给现有 LLM 两阶段分类器。用 shadow 数据**调阈值**，不用 0.5（Hamel 的结论），并把 confidently‑wrong 的比例（尤其 unsafe 被放行的数量）单独列出来看。安全场景要按 precision 下限选阈值。
2. **prompt hook 加 `judge` 后端**：在 `PromptHookConfig` 加 `type: 'judge'`，或增加 `model: 'jev'`。让用户用 noul 或 choice 定义 hook 的判定条件，复用 `judgment/`，延迟可以从秒级降到亚秒级，适合放在 PreToolUse 这类热路径上。
3. **skill 路由**：现在靠模型阅读 skill 列表自行判断。可以先用 choice 题从 skill 描述里选出 top‑k，或问「是否需要激活某个 skill」，只把命中的 skill 注入 context，省 token，也减少误触发。按「先问充分性」的做法，置信度低时不注入，交给主模型自己判断。
4. **子 agent / 模型路由与 effort 选择**：在 spawn 时路由一次（不要逐请求路由，否则会破坏 cache），参考 jev‑pilot 的做法：只有置信度足够时才调整 effort。
5. **压缩时的保留判断**：`compression-v2` 可以先用 noul 给 tool 结果打分，决定哪些原文保留，再对剩下的做摘要。
6. **后端多样化**：`Judge` 抽象已经存在，加 OpenAI Decisions 或本地 Clef‑flash / pplx‑decider‑flash（GGUF）后端成本不高；本地后端还能用于离线和隐私场景。

---

## 参考链接

**X 书签与帖子**
- Jev 发布：https://x.com/CompleteSkeptic/status/2099925682726002904 · 博客 https://typesafe.ai/blog/introducing-system-one-models-and-jev
- Jev vs LLM 图解：https://x.com/k_grajeda/status/2099952715430596710
- 9 个用例（Alex Xu）：https://x.com/alexxubyte/status/2102787342553719219
- Jev 做 computer use 的基础：https://x.com/mdlahfir/status/2100390804888142007
- Jev 做 harness / 模型路由：https://x.com/mdlahfir/status/2100314182201802811
- 10 倍提速的 4 种方式：https://x.com/da_fant/status/2100659471257366766
- fx auto mode 安全分类基准：https://x.com/fazxes/status/2100300097695232164
- Jev + Opus 5.5：https://x.com/AnnatarXBT/status/2105550278359662756
- Jev 在自定义 harness 里的价值（elvis）：https://x.com/omarsar0/status/2101349932569370826
- Jev‑as‑a‑Judge：https://x.com/omarsar0/status/2102934356108972278
- CLM vs Jev：https://x.com/omarsar0/status/2103139055013646646
- 充分性问题技巧：https://x.com/parcadei/status/2101801605121094138
- jevgrep：https://x.com/dzhng/status/2103920741481848861
- Kev 开源：https://x.com/jaredpalmer/status/2101715352258232539
- Laya‑MLX：https://x.com/mizorewww/status/2101473552956555427
- Cloudflare Clef：https://x.com/victormustar/status/2105709234151211267 · https://blog.cloudflare.com/clef-decision-models/
- OpenAI Decisions GA：https://x.com/OpenAIDevs/status/2113346642787086538 · https://openai.com/index/decisions-api/
- Perplexity Decider：https://x.com/perplexitydevs/status/2105725598882832414 · Decider for Mac https://x.com/perplexitydevs/status/2113400672238616800
- HiringCafe 对比：https://x.com/h_nilforoshan/status/2107643820150308932
- Hamel 评测：https://x.com/HamelHusain/status/2112588257104216294 · https://hamel.dev/blog/posts/decision-model-evals/
- 宝玉：Decisions 做手势识别：https://x.com/dotey/status/2107902563953582145
- Thariq AI Dock：https://x.com/trq212/status/2115135857669881939
- Lightpanda 登录：https://x.com/lightpanda_io/status/2115166932357771702

**Reddit**
- 14 个决策模型 vs 本地 LLM：https://www.reddit.com/r/LocalLLM/comments/1x35tkp/
- 「决策模型的讽刺」：https://www.reddit.com/r/LocalLLM/comments/1xdj8tm/
- Jev vs Clef vs OpenAI 延迟：https://www.reddit.com/r/LLMDevs/comments/1xasedl/
- 大家拿 Jev 类模型做什么：https://www.reddit.com/r/LocalLLaMA/comments/1x29q4a/
- Clef 首日体验：https://www.reddit.com/r/CloudFlare/comments/1ww3qw5/
- 决策成本几个月降 10 倍（Decider v1.2）：https://www.reddit.com/r/LocalLLaMA/comments/1xbe9ga/

**开源仓库**
- https://github.com/dzhng/jevgrep · https://github.com/browser-use/jev-ultrafast · https://github.com/lahfir/agent-desktop · https://github.com/gargpratyush/jev-router · https://github.com/Akramovic1/jev-pilot · https://github.com/inboxpraveen/ThinkLess · https://huggingface.co/perplexity-ai/pplx-decider-v1.2
