决策模型("System One" 模型)调研

By 陈成 · Published October 29, 2026

决策模型是什么,谁在做,效果如何,agent harness 和 qodercli 怎么用?

2026-10-28 · 来源:X 书签(约 40 条相关)+ 评论区、X 搜索、Reddit(r/LocalLLaMA、r/LocalLLM、r/LLMDevs、r/CloudFlare)、Cloudflare / OpenAI / hamel.dev 原文,以及 qodercli 源码。

TL;DR


1. 概念:System One vs System Two

flowchart LR
    S[State<br/>文本 / JSON / 图片] --> Q{Questions<br/>noul · choice · score}
    Q --> D[决策模型<br/>prefill 一次<br/>并行给每个候选打分]
    D --> P["typed answer + 概率<br/>{choice:'technical', p:0.93}"]
    P -->|p ≥ 阈值| A[代码直接执行 / 路由]
    P -->|p < 阈值| L[升级到 LLM / 人工]
System One(决策模型) System Two(LLM)
输出 预定义选项上的概率分布 自由文本 / tool call
计算 prefill 后对候选做并行打分,非自回归 逐 token 生成,可推理
延迟 几十到几百 ms 秒级
幻觉 只能在给定选项里选 可能编造
适合 路由、分类、gate、judge、从候选里选元素或命令 规划、写代码、多步推理

技术路线(据 Cloudflare 博客和 elvis 的对比):

2. 主要玩家对比

产品 发布 形态 价格 / 延迟 关键点
TypeSafe Jev 9/16 闭源 API(Vercel AI Gateway 可用) $0.042/MTok 输入,输出免费;实测约 160–200ms 开创者,作者 Diogo Almeida(参与过 ChatGPT 的 instruction-following 工作);只支持文本,32k 上下文
OpenAI Decisions API 9/30 预览 → 10/7 公测 → 10/23 GA 基于 GPT‑6 Luna $0.10/MTok(缓存 $0.01);官方称比 Responses API 快 10 倍 题型 predicate/choice/score;单次请求最多 400 题;原生 JSON 和图片输入;集成 GPT‑Live 语音;可选 US/EU 推理驻留
Cloudflare Clef / Clef‑flash 10/1 开源 Apache‑2.0(Qwen3.8‑27B / Qwen3.5‑9B)+ Workers AI 托管 自测中位延迟 209ms / 39ms 兼容 Jev API;多模态;64k 上下文;提供 RL 微调服务;后续发布了 Clef‑omni(音视频)
Perplexity Decider 10/2 开源 pplx‑decider‑v1‑27b、flash 4B/5B(有 GGUF) 约 $0.04/MTok;v1.2 宣称成本是 Luna 的 1/10、Jev 的 1/2.5 10/23 推出 Decider for Mac,本地运行、无需 API key
其他 9–10 月 Liquid d1、Mercury Decide、Solar Decide、MS‑Decision‑1、MedDecider、JEV‑27B‑VL…… — 有人维护 benchmarkheaven.com/jev-models,已收录 106 个
timeline
    title 决策模型 2026 时间线
    9月16日 : TypeSafe 发布 Jev(4000 万浏览)
    9月17-24日 : Vercel Gateway 上线 Jev : Kev / Laya / CLM 等开源复刻
    9月30日 : OpenAI Decisions API 有限预览
    10月1-2日 : Cloudflare Clef 开源 : Perplexity Decider API + 开源 27B
    10月7日 : OpenAI Decisions 公测
    10月21日 : Hamel《How To Use Decision Models for Evals》
    10月23日 : OpenAI Decisions GA : Decider for Mac

3. 评测与争议

官方或厂商数据

第三方实测,结论不一

质疑声音

4. 实践技巧(来自评论区)

  1. 先问充分性,再问意图(@parcadei):证据不足时,选项顺序会主导答案;单独加一个 IDK 选项没用(80 次里 0 次被选)。正确做法是先问「state 里的证据是否足以回答」,在标注数据上校准出阈值,达标后再问意图,不达标就先去补证据。
  2. 高置信度直接执行,低置信度升级(@omarsar0 Jev‑as‑a‑Judge):对高置信度的结论直接采纳,低置信度交给 GPT‑6 或 Opus 5.5。有用户实测分类准确率约 77%,在能容忍误差的流水线里依然划算。
  3. 决策模型只负责决策点,循环交给 agent(@mdlahfir):Jev 回答「点哪个元素、用哪个命令」,执行、验证和处理 stale 元素由 agent 负责。每个候选附上 what(角色和标签)、where(祖先路径)、supports(支持的操作)。
  4. 按子 agent 路由,不要按请求路由(@da_fant):逐请求路由会破坏 prompt cache,应在新开子 agent 时做一次路由。
  5. 让 harness 先准备好候选(@AnnatarXBT):Jev 只在 harness 已经准备并校验过的选项里挑。这个用户把 forks 的成本从每天 $110 降到 $4。
  6. 选项要结构化(instructions、criteria、源文档分开写),参见 TypeSafe docs。

5. Agent harness 里的典型用法

flowchart TB
    U[用户消息 / 事件] --> R{决策模型:路由}
    R -->|机械任务| H[Haiku / 便宜模型]
    R -->|难任务| O[Opus 子 agent]
    R -->|长任务| X[外部 harness]
    R -->|只是通知| Q[入队,不唤醒 orchestrator]
    O --> T[tool call]
    T --> G{决策模型:安全 gate<br/>allow / ask / block}
    G -->|allow p高| E[执行]
    G -->|不确定| L[LLM 两阶段分类器 / 人工]
    E --> F{失败?}
    F -->|是| RP{决策模型:选恢复路径}
    E --> C{决策模型:压缩时<br/>哪些 tool 结果保留}
场景 例子
模型 / harness 路由 @mdlahfir:在 hook 里分流,机械任务给 Haiku,难任务给 Opus 子 agent,长任务交给外部 harness;jev-router;jev-pilot 按 prompt 调 Claude Code 的 effort(置信度 ≥0.6 才调低);JevRouter 负责挑选模型、子 agent、skill 和工具
自动审批 / 安全 gate fx auto mode:Jev 比 gpt‑5.6‑luna 快 5–18 倍且更准(也有人复现后发现准确率并未更高);把关 PR 能否自动合并
Context 收集与压缩 jevgrep:SWE‑bench 上成本降 40%;fast‑jev‑compaction 给每个 tool 结果打分,保留原文而不做摘要(「decide what survives」)
Eval / Judge Hamel 的文章;从生产 trace 里筛选信号
Computer / Browser use Browser Use + Jev:订一次航班约 7s、$0.0039;agent-desktop;Lightpanda 登录:Jev 0.53s,Haiku 7.83s
实时交互 Thariq 的 AI 原生 Dock 实时分类活动和通知(X,70 万浏览);语音控制浏览器约 300ms 一次;GPT‑Live 语音触发
编排层降本 子 agent 的回复或新消息到来时,先由 Jev 判断是直接路由、入队,还是唤醒昂贵的 orchestrator(唤醒一次约 $1)

6. 对 qodercli 的启示

现状(读源码确认)

建议(按收益排序)

  1. auto‑approve 做成级联:Jev 高置信度的 allow/block 直接采纳,低置信度或 HARD BLOCK 边界的情况交给现有 LLM 两阶段分类器。用 shadow 数据调阈值,不用 0.5(Hamel 的结论),并把 confidently‑wrong 的比例(尤其 unsafe 被放行的数量)单独列出来看。安全场景要按 precision 下限选阈值。
  2. prompt hook 加 judge 后端:在 PromptHookConfig 加 type: 'judge',或增加 model: 'jev'。让用户用 noul 或 choice 定义 hook 的判定条件,复用 judgment/,延迟可以从秒级降到亚秒级,适合放在 PreToolUse 这类热路径上。
  3. skill 路由:现在靠模型阅读 skill 列表自行判断。可以先用 choice 题从 skill 描述里选出 top‑k,或问「是否需要激活某个 skill」,只把命中的 skill 注入 context,省 token,也减少误触发。按「先问充分性」的做法,置信度低时不注入,交给主模型自己判断。
  4. 子 agent / 模型路由与 effort 选择:在 spawn 时路由一次(不要逐请求路由,否则会破坏 cache),参考 jev‑pilot 的做法:只有置信度足够时才调整 effort。
  5. 压缩时的保留判断:compression-v2 可以先用 noul 给 tool 结果打分,决定哪些原文保留,再对剩下的做摘要。
  6. 后端多样化:Judge 抽象已经存在,加 OpenAI Decisions 或本地 Clef‑flash / pplx‑decider‑flash(GGUF)后端成本不高;本地后端还能用于离线和隐私场景。

参考链接

X 书签与帖子

Reddit

开源仓库

Read this report as Markdown · Cite it (BibTeX)