决策模型("System One" 模型)调研
By 陈成 · Published October 29, 2026
决策模型是什么,谁在做,效果如何,agent harness 和 qodercli 怎么用?
2026-10-28 · 来源:X 书签(约 40 条相关)+ 评论区、X 搜索、Reddit(r/LocalLLaMA、r/LocalLLM、r/LLMDevs、r/CloudFlare)、Cloudflare / OpenAI / hamel.dev 原文,以及 qodercli 源码。
TL;DR
- 它是什么:输入「状态 + 一组带候选答案的问题」,一次前向传播就为每个候选给出概率。模型不生成文本,所以不会编出候选之外的答案。三种题型:
noul/predicate(是否)、choice(多选一)、score(有序打分)。 - 时间线:9/16 TypeSafe 发布 Jev → 9/30 OpenAI Decisions API 有限预览 → 10/1 Cloudflare 开源 Clef → 10/2 Perplexity 发布 Decider API 并开源 27B → 10/7 OpenAI 公测 → 10/23 OpenAI GA,同日 Perplexity 推出 Decider for Mac(本地 4B)。一个多月里出现了十几家(Liquid d1、Mercury Decide、Solar Decide、Microsoft-Decision-1、Kev、Laya、CLM……),有人统计到 106 个系统。
- 优势:价格和延迟。Jev 输入 $0.042/MTok,输出免费,单次约 150–500ms;Perplexity Decider 约 $0.04/MTok;OpenAI 为 $0.10/MTok(缓存 $0.01)。
- 短板:遇到「要读懂规则再算一两步」的硬题会掉点;选项顺序会影响结果;0.5 默认阈值经常不对;部分厂商的产品只是在 LLM 外面套了一层。
- 在 agent harness 里的定位:在 agent 循环的决策点上用 System One 做判断,System Two(前沿 LLM)只处理低置信度和真正需要推理的部分。社区原话是 "the expensive model thinks, the cheap one decides"。
- qodercli:auto mode 已经接了 Jev(
jev-classifier.ts,有 shadow/enabled 两个灰度开关),还有judgment/抽象(typesafe + bailian 两个后端)。下一步可以用这套 Judge 做 skill 路由、prompt hook 和子 agent 路由,详见第 6 节。
1. 概念:System One vs System Two
flowchart LR
S[State<br/>文本 / JSON / 图片] --> Q{Questions<br/>noul · choice · score}
Q --> D[决策模型<br/>prefill 一次<br/>并行给每个候选打分]
D --> P["typed answer + 概率<br/>{choice:'technical', p:0.93}"]
P -->|p ≥ 阈值| A[代码直接执行 / 路由]
P -->|p < 阈值| L[升级到 LLM / 人工]
| System One(决策模型) | System Two(LLM) | |
|---|---|---|
| 输出 | 预定义选项上的概率分布 | 自由文本 / tool call |
| 计算 | prefill 后对候选做并行打分,非自回归 | 逐 token 生成,可推理 |
| 延迟 | 几十到几百 ms | 秒级 |
| 幻觉 | 只能在给定选项里选 | 可能编造 |
| 适合 | 路由、分类、gate、judge、从候选里选元素或命令 | 规划、写代码、多步推理 |
技术路线(据 Cloudflare 博客和 elvis 的对比):
- Jev:RLCD(Reinforcement Learning for Calibrated Decisions)训练,目标是概率校准。
- Clef:冻结 Qwen 主干,加 LoRA 和路由头,用 Brier loss 校准,同样借用 RLCD 作为次级优化目标。
- CLM:对比学习,把 state 和候选 action 嵌入后算相似度,比 Jev 快约 9 倍,但有人实测 JevBench 只有 45.5%(Jev 86.6%)。
- Kev / Laya:开源复刻,可以本地跑。Kev 的做法是 Qwen3 + LoRA + pointer head。
2. 主要玩家对比
| 产品 | 发布 | 形态 | 价格 / 延迟 | 关键点 |
|---|---|---|---|---|
| TypeSafe Jev | 9/16 | 闭源 API(Vercel AI Gateway 可用) | $0.042/MTok 输入,输出免费;实测约 160–200ms | 开创者,作者 Diogo Almeida(参与过 ChatGPT 的 instruction-following 工作);只支持文本,32k 上下文 |
| OpenAI Decisions API | 9/30 预览 → 10/7 公测 → 10/23 GA | 基于 GPT‑6 Luna | $0.10/MTok(缓存 $0.01);官方称比 Responses API 快 10 倍 | 题型 predicate/choice/score;单次请求最多 400 题;原生 JSON 和图片输入;集成 GPT‑Live 语音;可选 US/EU 推理驻留 |
| Cloudflare Clef / Clef‑flash | 10/1 | 开源 Apache‑2.0(Qwen3.8‑27B / Qwen3.5‑9B)+ Workers AI 托管 | 自测中位延迟 209ms / 39ms | 兼容 Jev API;多模态;64k 上下文;提供 RL 微调服务;后续发布了 Clef‑omni(音视频) |
| Perplexity Decider | 10/2 | 开源 pplx‑decider‑v1‑27b、flash 4B/5B(有 GGUF) | 约 $0.04/MTok;v1.2 宣称成本是 Luna 的 1/10、Jev 的 1/2.5 | 10/23 推出 Decider for Mac,本地运行、无需 API key |
| 其他 | 9–10 月 | Liquid d1、Mercury Decide、Solar Decide、MS‑Decision‑1、MedDecider、JEV‑27B‑VL…… | — | 有人维护 benchmarkheaven.com/jev-models,已收录 106 个 |
timeline
title 决策模型 2026 时间线
9月16日 : TypeSafe 发布 Jev(4000 万浏览)
9月17-24日 : Vercel Gateway 上线 Jev : Kev / Laya / CLM 等开源复刻
9月30日 : OpenAI Decisions API 有限预览
10月1-2日 : Cloudflare Clef 开源 : Perplexity Decider API + 开源 27B
10月7日 : OpenAI Decisions 公测
10月21日 : Hamel《How To Use Decision Models for Evals》
10月23日 : OpenAI Decisions GA : Decider for Mac
3. 评测与争议
官方或厂商数据
- Cloudflare 博客:Clef 在 BFCL、BANKING77、CLINC150 等基准上大多领先 Jev,在 TypeSafe 自己的 4 个 workflow eval 里赢了 3 个。
第三方实测,结论不一
- Hamel Husain(博客),任务是从 100 条租房 agent trace 里找出失败的那些:
- OpenAI Decisions 的 F1 最高(0.87),成本 3.72 美分/100 次;
- Perplexity 最便宜(0.82 美分),F1 0.79;
- 核心建议:别直接用 0.5 默认阈值。 先按业务定 precision/recall 下限,再用交叉验证调阈值;必要时做 Platt 校准;每种失败模式单独建一个 judge。
- HiringCafe(X),500 条人工标注的职位相关性:Jev Spearman 0.74,OpenAI 0.71;OpenAI 贵一倍,效果差 5–10%。
- Reddit r/LocalLLM(帖子),56 个分诊任务:本地 Qwen3.5‑9B 跑出 97.3%,比所有决策模型都高(Solar 95.5,Jev 92.0,Clef 86.6)。决策模型在硬题上的得分是 68–95。评论区反驳:决策模型卖的是效率,不是智力。90% 的准确率加上几乎可以忽略的成本,对很多场景已经够用。
- 延迟(r/LLMDevs,6 个城市每日测):Jev 195ms,OpenAI 208ms,Clef 344ms。OpenAI 在美国以外冷启动要 1–2s。
- Clef 上线首日(r/CloudFlare):免费档输入被截断在 2194 token,延迟 315–950ms;付费用户也说比 Jev 差。Workers AI PM 回应是首日流量问题。
质疑声音
- 「Llama 2 时代用 constrained sampling 加 logits 就能做,现在是把 LLM 分类器换个名字」(r/LocalLLM)。反方的回答是:区别在于专门做过概率校准,而且不用为推理 token 付费。
- 「多数后来者只是给 LLM 套了 harness 和输出约束,并不是从头训练的 System One」。这条主要针对 Clef 和 OpenAI。
- 回复里反复出现的担忧:要有 abstain 选项;confidently-wrong 的比例比预期大;固定选项下能快 200 倍,但动作空间是动态的时候收益会缩水;失败后的重试会吃掉成本优势。
4. 实践技巧(来自评论区)
- 先问充分性,再问意图(@parcadei):证据不足时,选项顺序会主导答案;单独加一个 IDK 选项没用(80 次里 0 次被选)。正确做法是先问「state 里的证据是否足以回答」,在标注数据上校准出阈值,达标后再问意图,不达标就先去补证据。
- 高置信度直接执行,低置信度升级(@omarsar0 Jev‑as‑a‑Judge):对高置信度的结论直接采纳,低置信度交给 GPT‑6 或 Opus 5.5。有用户实测分类准确率约 77%,在能容忍误差的流水线里依然划算。
- 决策模型只负责决策点,循环交给 agent(@mdlahfir):Jev 回答「点哪个元素、用哪个命令」,执行、验证和处理 stale 元素由 agent 负责。每个候选附上 what(角色和标签)、where(祖先路径)、supports(支持的操作)。
- 按子 agent 路由,不要按请求路由(@da_fant):逐请求路由会破坏 prompt cache,应在新开子 agent 时做一次路由。
- 让 harness 先准备好候选(@AnnatarXBT):Jev 只在 harness 已经准备并校验过的选项里挑。这个用户把 forks 的成本从每天 $110 降到 $4。
- 选项要结构化(instructions、criteria、源文档分开写),参见 TypeSafe docs。
5. Agent harness 里的典型用法
flowchart TB
U[用户消息 / 事件] --> R{决策模型:路由}
R -->|机械任务| H[Haiku / 便宜模型]
R -->|难任务| O[Opus 子 agent]
R -->|长任务| X[外部 harness]
R -->|只是通知| Q[入队,不唤醒 orchestrator]
O --> T[tool call]
T --> G{决策模型:安全 gate<br/>allow / ask / block}
G -->|allow p高| E[执行]
G -->|不确定| L[LLM 两阶段分类器 / 人工]
E --> F{失败?}
F -->|是| RP{决策模型:选恢复路径}
E --> C{决策模型:压缩时<br/>哪些 tool 结果保留}
| 场景 | 例子 |
|---|---|
| 模型 / harness 路由 | @mdlahfir:在 hook 里分流,机械任务给 Haiku,难任务给 Opus 子 agent,长任务交给外部 harness;jev-router;jev-pilot 按 prompt 调 Claude Code 的 effort(置信度 ≥0.6 才调低);JevRouter 负责挑选模型、子 agent、skill 和工具 |
| 自动审批 / 安全 gate | fx auto mode:Jev 比 gpt‑5.6‑luna 快 5–18 倍且更准(也有人复现后发现准确率并未更高);把关 PR 能否自动合并 |
| Context 收集与压缩 | jevgrep:SWE‑bench 上成本降 40%;fast‑jev‑compaction 给每个 tool 结果打分,保留原文而不做摘要(「decide what survives」) |
| Eval / Judge | Hamel 的文章;从生产 trace 里筛选信号 |
| Computer / Browser use | Browser Use + Jev:订一次航班约 7s、$0.0039;agent-desktop;Lightpanda 登录:Jev 0.53s,Haiku 7.83s |
| 实时交互 | Thariq 的 AI 原生 Dock 实时分类活动和通知(X,70 万浏览);语音控制浏览器约 300ms 一次;GPT‑Live 语音触发 |
| 编排层降本 | 子 agent 的回复或新消息到来时,先由 Jev 判断是直接路由、入队,还是唤醒昂贵的 orchestrator(唤醒一次约 $1) |
6. 对 qodercli 的启示
现状(读源码确认)
packages/core/src/judgment/:Judge接口,题型 choice/noul/score 与 Jev schema 一致,已有typesafe.ts和bailian.ts两个后端。permissions/permission-modes/auto/jev-classifier.ts:auto mode 已有 Jev 分类器(JEV_AUTO_POLICY以及jev-multi-policy多问题策略),由auto_mode_jev和auto_mode_jev_shadow两个 QCS 灰度开关控制,shadow 模式会和 LLM 两阶段分类器的结果对比。hooks/types.ts:PromptHookConfig目前是单轮 LLM 调用,返回{decision, reason}。
建议(按收益排序)
- auto‑approve 做成级联:Jev 高置信度的 allow/block 直接采纳,低置信度或 HARD BLOCK 边界的情况交给现有 LLM 两阶段分类器。用 shadow 数据调阈值,不用 0.5(Hamel 的结论),并把 confidently‑wrong 的比例(尤其 unsafe 被放行的数量)单独列出来看。安全场景要按 precision 下限选阈值。
- prompt hook 加
judge后端:在PromptHookConfig加type: 'judge',或增加model: 'jev'。让用户用 noul 或 choice 定义 hook 的判定条件,复用judgment/,延迟可以从秒级降到亚秒级,适合放在 PreToolUse 这类热路径上。 - skill 路由:现在靠模型阅读 skill 列表自行判断。可以先用 choice 题从 skill 描述里选出 top‑k,或问「是否需要激活某个 skill」,只把命中的 skill 注入 context,省 token,也减少误触发。按「先问充分性」的做法,置信度低时不注入,交给主模型自己判断。
- 子 agent / 模型路由与 effort 选择:在 spawn 时路由一次(不要逐请求路由,否则会破坏 cache),参考 jev‑pilot 的做法:只有置信度足够时才调整 effort。
- 压缩时的保留判断:
compression-v2可以先用 noul 给 tool 结果打分,决定哪些原文保留,再对剩下的做摘要。 - 后端多样化:
Judge抽象已经存在,加 OpenAI Decisions 或本地 Clef‑flash / pplx‑decider‑flash(GGUF)后端成本不高;本地后端还能用于离线和隐私场景。
参考链接
X 书签与帖子
- Jev 发布:https://x.com/CompleteSkeptic/status/2099925682726002904 · 博客 https://typesafe.ai/blog/introducing-system-one-models-and-jev
- Jev vs LLM 图解:https://x.com/k_grajeda/status/2099952715430596710
- 9 个用例(Alex Xu):https://x.com/alexxubyte/status/2102787342553719219
- Jev 做 computer use 的基础:https://x.com/mdlahfir/status/2100390804888142007
- Jev 做 harness / 模型路由:https://x.com/mdlahfir/status/2100314182201802811
- 10 倍提速的 4 种方式:https://x.com/da_fant/status/2100659471257366766
- fx auto mode 安全分类基准:https://x.com/fazxes/status/2100300097695232164
- Jev + Opus 5.5:https://x.com/AnnatarXBT/status/2105550278359662756
- Jev 在自定义 harness 里的价值(elvis):https://x.com/omarsar0/status/2101349932569370826
- Jev‑as‑a‑Judge:https://x.com/omarsar0/status/2102934356108972278
- CLM vs Jev:https://x.com/omarsar0/status/2103139055013646646
- 充分性问题技巧:https://x.com/parcadei/status/2101801605121094138
- jevgrep:https://x.com/dzhng/status/2103920741481848861
- Kev 开源:https://x.com/jaredpalmer/status/2101715352258232539
- Laya‑MLX:https://x.com/mizorewww/status/2101473552956555427
- Cloudflare Clef:https://x.com/victormustar/status/2105709234151211267 · https://blog.cloudflare.com/clef-decision-models/
- OpenAI Decisions GA:https://x.com/OpenAIDevs/status/2113346642787086538 · https://openai.com/index/decisions-api/
- Perplexity Decider:https://x.com/perplexitydevs/status/2105725598882832414 · Decider for Mac https://x.com/perplexitydevs/status/2113400672238616800
- HiringCafe 对比:https://x.com/h_nilforoshan/status/2107643820150308932
- Hamel 评测:https://x.com/HamelHusain/status/2112588257104216294 · https://hamel.dev/blog/posts/decision-model-evals/
- 宝玉:Decisions 做手势识别:https://x.com/dotey/status/2107902563953582145
- Thariq AI Dock:https://x.com/trq212/status/2115135857669881939
- Lightpanda 登录:https://x.com/lightpanda_io/status/2115166932357771702
- 14 个决策模型 vs 本地 LLM:https://www.reddit.com/r/LocalLLM/comments/1x35tkp/
- 「决策模型的讽刺」:https://www.reddit.com/r/LocalLLM/comments/1xdj8tm/
- Jev vs Clef vs OpenAI 延迟:https://www.reddit.com/r/LLMDevs/comments/1xasedl/
- 大家拿 Jev 类模型做什么:https://www.reddit.com/r/LocalLLaMA/comments/1x29q4a/
- Clef 首日体验:https://www.reddit.com/r/CloudFlare/comments/1ww3qw5/
- 决策成本几个月降 10 倍(Decider v1.2):https://www.reddit.com/r/LocalLLaMA/comments/1xbe9ga/
开源仓库
- https://github.com/dzhng/jevgrep · https://github.com/browser-use/jev-ultrafast · https://github.com/lahfir/agent-desktop · https://github.com/gargpratyush/jev-router · https://github.com/Akramovic1/jev-pilot · https://github.com/inboxpraveen/ThinkLess · https://huggingface.co/perplexity-ai/pplx-decider-v1.2