{"author":{"id":"4e3fvwoonbfzbvqtdwehr2fzdp","name":"陈成","avatar_url":"https://lh3.googleusercontent.com/a/ACg8ocLP6uaUWVTzl3dUQgZAldOJdTbU_NCUcOxb0Jx1K5CuD97UlDiQ=s96-c","handle":"sorrycc"},"mine":false,"report":{"topic_id":"jvzt2fnp4vie","markdown":"# Anthropic Scion：为 agent 规模提交而做的版本控制系统\n\n\u003e 整理日期：2026-10-28\n\u003e 主要来源：Anthropic 工程博客《Redesigning source control at Anthropic》（2026-10-13 发布，10-15 更新）及 X、Reddit 讨论\n\n## 一句话\n\nAnthropic 的 monorepo 每天合并的变更从 2026 年 5 月的约 2,500 次涨到 9 月的 30,000 次以上（单日峰值 30,401），git 及其周边设施（几百台镜像、种子快照、partial clone）撑不住了。7 个人用 5 个月写了 Scion（版本控制）和 Antique（代码评审），把整个 monorepo 从 git 迁了过去。agent 新建 worktree 从 7.1 分钟降到 5.1 秒。\n\n## 为什么 git 撑不住\n\ngit 被压垮不是因为某个具体的提交数，而是规模叠加起来超出了它的设计前提：\n\n| 指标 | 数值 |\n|---|---|\n| main 分支历史 | 接近 100 GB |\n| 压缩后的工作副本 | 超过 25 GB |\n| CI 每天 checkout 次数 | 约 2,500 万次（不含开发环境、agent 沙箱、研究任务） |\n| 不做优化时的 git 流量 | 每天超过 600 PB |\n| 高峰期内部 git 镜像 | 几百台 |\n\nshallow clone、sparse checkout、promisor remote、内部镜像、存在 blob storage 里的仓库快照（seeds），这些他们都用过。合并速度一上来，seed 离 main 越来越远，在 partial clone 上让 diff、blame 这类依赖历史的操作正常工作也越来越费劲。\n\n关键判断：git 是分布式设计，每个 clone 都是完整仓库，能离线工作。Anthropic 实际上把 git 当中心化系统在用，而且几乎所有客户端都是 agent 和 CI 任务，天生在线。git 最大的优点在这里反而成了负担。\n\n## 设计原则\n\n1. **客户端永远在线**：客户端按需取数据，不保存完整仓库。\n2. **客户端和服务端不对称**：历史、blame、提交、merge、rebase 都在服务端做。客户端只管有上限的本地对象缓存、在磁盘上铺工作副本、监听文件变化。\n3. **源码控制是一套服务**：客户端能用的查询全部开放成 API。CI 和工具问\"这行谁改的\"\"两个 commit 什么关系\"，不需要本地仓库。自动 bisect、自动 revert 流水线都依赖这一点。\n4. **所有组件都能水平扩展**：任何地方都没有完整物化的仓库，服务端也没有。没有 packfile，也就不需要仓库维护。\n5. **提交便宜、增量、无锁**：提交的成本随改动大小增长，和仓库大小无关。除了 main 和 release 分支，尽量不用 ref，因为全局一致的状态迟早是扩展瓶颈。\n6. **工作副本是可选的，默认 sparse**：很多读写操作直接走 API，完全不 checkout。需要文件时用 sparse 或虚拟化 checkout，用到哪些文件才付哪些文件的成本。\n\n参考过的前人工作：Google 的 Piper，Meta Sapling 的服务端 Mononoke（Scion 用的 Bonsai 数据模型就来自它）。\n\n## 核心机制\n\n### 数据结构：changeset\n\ngit commit 指向一棵完整的树；Scion 的 changeset 是一条预写日志（write-ahead log）记录，只存相对第一个父节点改了哪些文件，再加上指向 blob storage 中压缩内容的内容寻址指针。元数据放在 Spanner，文件内容放在云存储。\n\n```mermaid\nflowchart LR\n  subgraph Spanner[\"Spanner：元数据\"]\n    CS[\"Changeset 9f2c…\u003cbr/\u003eauthor / message / parents\u003cbr/\u003efile_changes:\u003cbr/\u003edocs/guide.md → 3e1f…\u003cbr/\u003esrc/legacy.rs → 已删除\u003cbr/\u003etools/build.sh → 9b07…\"]\n    P[\"父 Changeset d41c…\"]\n    RT[\"Root tree（派生数据）\"]\n    CS --\u003e P\n    CS -. 服务端派生，不存在 changeset 里 .-\u003e RT\n  end\n  subgraph GCS[\"云存储：文件内容（不可变、压缩、按 hash 去重）\"]\n    B1[\"3e1f…\"]\n    B2[\"9b07…\"]\n  end\n  CS --\u003e B1\n  CS --\u003e B2\n```\n\n接收 changeset 时没有 packfile 要处理，没有锁，不需要跨服务器协调，也不用移动 ref。移动 ref 只是对 Spanner 一行数据做一次 compare-and-swap，和创建 changeset 分开。\n\nblame、路径历史、提交图 skip list 这些统称\"派生数据\"（derived data），用同一套递归机制计算：某个 changeset 的值由它父节点的值算出来。好处有三个：加新索引容易；每种派生数据可以选择立即算还是延后算；客户端看不到内部结构，优化时不用改客户端。\n\n### checkout 架构：三层缓存\n\n```mermaid\nflowchart TB\n  subgraph Node[\"每台机器\"]\n    C1[\"scn 客户端（job A）\"]\n    C2[\"scn 客户端（job B）\"]\n    D[\"scion-daemon\u003cbr/\u003e整台机器共享对象存储\u003cbr/\u003e从定期刷新的快照启动\"]\n    C1 -- socket --\u003e D\n    C2 -- socket --\u003e D\n  end\n  D -- \"请求缺失的 tree / blob\" --\u003e SC[\"scion-cache（区域内）\u003cbr/\u003e直接从内存流式返回\u003cbr/\u003e格式就是 daemon 的磁盘格式\"]\n  SC -- \"未命中\" --\u003e SS[\"scion-server（权威）\"]\n  SS --\u003e SP[(\"Spanner\")]\n  SS --\u003e OBJ[(\"云存储\")]\n```\n\n和 git 协议的区别：\n\n- 客户端不告诉服务端\"我有什么\"，只请求\"我要什么\"。从根树开始，递归检查本地缺哪些 tree，再请求 blob。\n- 每次请求的都是一个不会变的具体对象，任何一层缓存都能回答，结构上就是传统的分层缓存。\n- 没有动辄几 GB 的单个 packfile 响应，可以断点续传。sparse 和虚拟化 checkout 不需要特殊支持，不请求不需要的树就行。\n- 三层用同一套 RPC，客户端不需要知道缓存拓扑，但层级是强制的，防止区域缓存故障把上游打垮。\n\n每一层缓存命中率都在 99% 以上，没有长期状态。\n\n## 效果数据\n\n### 和旧方案比\n\n- 基础设施的 CPU 和内存占用是原来 git 镜像集群的 **1/200**\n- CI 和研究任务的 checkout 快两个数量级（从分钟级到秒级），CI 腾出 **25%** 的 CPU 容量\n\n### 常用命令（中位耗时）\n\n| 场景 | 操作 | git | scn | 倍数 |\n|---|---|---|---|---|\n| Agent 环境 | **新建 worktree** | **7.1 min** | **5.1 s** | **×84** |\n| Agent 环境 | pull latest | 3.0 min | 9.0 s | ×20 |\n| Agent 环境 | commit | 18 s | 761 ms | ×24 |\n| Agent 环境 | status | 4.3 s | \u003c0.2 s | ×20+ |\n| 开发环境 | pull latest | 87 s | 3.5 s | ×25 |\n| 开发环境 | checkout | 15 s | 1.1 s | ×14 |\n| 开发环境 | rebase | 13 s | 2.7 s | ×4.8 |\n| 开发环境 | status | 3.9 s | 19 ms | ×207 |\n| 开发环境 | commit | 1.4 s | 1.1 s | ×1.3 |\n| 开发环境 | diff | 407 ms | 67 ms | ×6.1 |\n| CI | CI job 内 checkout | 31 s | 3.5 s | ×8.8（每天约省 19.5 万机器小时） |\n| 计算任务 | 任务启动时 checkout | 175 s | 22 s | ×8.0（每天约省 8.5 万机器小时） |\n| 汇总 | 每个变更请求的源码控制总耗时（agent） | 34 min | 3.7 min | ×9.2（每天约省 1.1 万 agent 小时） |\n\n开发环境的 commit 几乎没变快（×1.3），因为 git 本地 commit 本来就快。提升最大的是\"从零准备一个工作环境\"，正好是 agent 最常做的事。\n\n## 用 Claude 构建 Scion 的经验\n\n- **小团队、短周期**：7 个人做了 Scion、Antique 和另外六七个相关系统，5 个月完成迁移，同期每天合并量涨了 10 倍。\n- **Mythos Preview 重写摄取管道**：手写的 git→Scion 摄取原型，交给早期内部版 Claude Mythos Preview 重写，没加额外指令，结果内存降到 1/20、速度快 4 倍，摄取顺序和数据结构上的隐含约束都保住了。\n- **工程师的活变成说\"不\"**：团队成员都认为 Claude 写代码比自己强。工程师负责系统间的高层设计和取舍，经常需要否决 Claude。例子：迁移中有几个系统想线性扫描提交日志来查某个变更何时合入 main，而不是去问代码评审工具。对抗式评审有时会过度防御，比如对另一个内部服务过度不信任，让 Claude 加了一堆多余校验。现在每个变更仍然有人评审，但看的是意图，不再逐行读代码。\n- **质量反而更高**：为所有重要的基础设施和源码控制交互写了 hermetic 仿真，还有 fuzzing 和限流。Claude 顺手找到一个漏用索引的祖先查询算法优化。\n- **安全**：支持仓库级和目录级权限。评审工具能表达语义约束，区分\"只改注释\"和\"敏感逻辑改动\"，让人只看最重要的变更。\n- **\"superfan\" 运维**：用 Claude Tag 在 Slack 频道里给每个组件配一个专职盯监控和日志的 Claude（scion-daemon superfan、scion-cache superfan、Antique merge queue superfan 等），能发现传统告警发现不了的细微问题。\n- **重新审视老做法**：agent 规模下，全局锁的 merge queue 已经不现实。测试跑一轮的时间里可能合进来几百上千个变更。他们改为投入合入后、部署前的自动化测试。并发变更会冲突，但 Claude 修冲突比人发现冲突还快。\n\n## Anthropic 自己的定位\n\n- Scion **不适合**作为通用的 git 替代品，只对超大 monorepo（上万工程师或大量 agent）有意义。\n- Anthropic 内部花 token 的能力远超一般企业。\n- 不打算开源。它和 git 差异太大，需要配套的评审、搜索、CI，内部实现高度定制。\n- 他们希望 git 生态吸收其中有效的部分：git 服务端不必和客户端一样工作；forge 可以提供类似 Scion 的标准化服务端 RPC；协商协议可以改；sparse 和 shallow 功能应该能组合使用。预计 6 到 12 个月内会有更多公司遇到同类问题，希望和 GitHub、GitLab 及开源社区合作。\n\n## 社区反应\n\n### X（原推 830 万浏览）\n\n**调侃和怀疑**\n- \"每天 3 万次合并。我有个 PR 从三月开到现在，修的是 README 里的一个错别字。\"（@NattyStupidity，4.3K 赞）\n- \"git 扛过了二十年内核开发者，没扛过一个夏天的 Claude。\"（@eliotbrown__）\n- \"所以他们发明了用 FTP 直接在 main 上干活？\"（@edinwaw）\"谢谢你们又发明了一遍 Subversion。\"（@1n73rn375）\n- \"没人会去读一天 3 万个 diff。\"（@depak_7）有人引用\"工程师看的是意图而不是逐行读代码\"，配了一串惊恐表情。\n- \"花五个月造了个 git 替代品，然后发长文讲 git 该怎么改进。恭喜成为 git 的免费研发部门。\"（@hotheadhacker）\n- \"说白了就是不开源，你想要就自己花 1000 万美元 token 重造一个。\"（@_SandReckoner）\n\n**认真的观点**\n- \"一天 2500 万次 checkout，git 不是慢，是围绕错误的物种设计的（我们人类）。agent 不在乎本地有没有完整仓库、能不能离线，只要它碰到的那几块和一个快速落地的方式。\"（@MTorygreen）\n- \"一天 3 万次合并时，语义冲突比存储吞吐重要。\"（@sebuzdugan）\n- \"怎么在每天 3 万次合并里追查一个线上回归？\"（@Mighty_Jimini）\n- \"99% 的企业没有驱动这种设计的需求，对大多数团队这是反模式。\"（@snowandcaffeine）\n- @dexhorthy 认为最有意思的思维转变是：git 让任何客户端都能当服务端，而改代码越来越自动化之后，这个前提就不成立了。\n- 命名撞车：Google Cloud 也有一个叫 scion 的开源项目，别搞混。\n\n**中文圈**：@aigclink、@vikingmute、@ScarletKc、@FinanceYF5 等做了解读，重点放在\"7 人 5 个月\"\"基础设施缩小 200 倍、checkout 快 100 倍\"。\n\n### Reddit\n\n- **r/programming**：有人说 Scion 借鉴的 Sapling 是 GPL 代码，存在\"许可证翻转\"问题。另一位自称 Google 员工的用户反驳：Anthropic 借鉴的是公开的设计思想，不是代码，就像不能说 Sapling 抄了 Piper。也有人说\"git 做不了的场景基本都是自己作出来的\"，反方举了游戏开发上百 TB 二进制资产的例子。\n- **r/Anthropic**（339 赞）：质疑\"合并次数\"这个指标，30k 可能什么都说明不了，可能只是把 PR 切得更小。有人说一天 3 万次合并只可能是\"LGTM 一路过\"。有人指出 AI 辅助后 PR 数量涨了、单个 PR 变小，人工评审成了瓶颈，只能把简单 PR 交给 AI 审。8 月那段低谷也被调侃\"agent 也放假了\"。\n- **r/LinuxTeck**：讨论 git 到底需不需要被替代。共识是 Google、Meta、Microsoft 的大 monorepo 早就不用原生 git（Piper、Sapling、微软的 GVFS/Scalar 方案），中小团队用 git 完全没问题。\n\n### 开源复刻（发布后几天内出现）\n\n| 项目 | 语言 | 说明 |\n|---|---|---|\n| [CarterT27/scion](https://github.com/CarterT27/scion) | Rust | \"Anthropic 版本控制系统的实现\"，约 250 star |\n| [tinyhumansai/openscion](https://github.com/tinyhumansai/openscion) | Rust | 以服务端为中心、面向 agent 和 CI 的开源实现，约 125 star |\n| [wrencanfly/wren](https://github.com/wrencanfly/wren) | Rust | 给 git 用的 Scion 架构：不 clone 就能在服务端提交、查历史、blame、bisect |\n| [garyships/kudzu](https://github.com/garyships/kudzu) | Go | 无完整 clone、历史即 API、无锁合入，带 16 个 MCP 工具 |\n| [utopia-ia/elffuss-braid](https://github.com/utopia-ia/elffuss-braid) | Rust | 单机多 agent 并行提交到一个 main，冲突以 JSON 返回，兼容 git |\n| [Dicklesworthstone/frankengit](https://github.com/Dicklesworthstone/frankengit) | — | 兼容 git、面向 agent、可自托管的 forge（早于 Scion 博客） |\n\n另有可视化对比 [gitvscion-mky.up.railway.app](https://gitvscion-mky.up.railway.app)（@mikeytldr）。\n\n## 我的看法\n\n1. **真正的创新是把源码控制变成服务**，不在于某个数据结构。changeset、内容寻址、派生数据、分层缓存在 Piper 和 Mononoke 里都有先例。Anthropic 新加的约束是\"客户端几乎都是 agent\"，所以 checkout 尽量免掉，历史和 blame 走 API。\n2. **7.1 min → 5.1 s 是最有用的数字**。agent 工作流的单位成本是\"开一个新环境\"，不是\"提交一次\"。git 在提交上并不慢（×1.3），慢在准备环境上。用 git 跑多 agent 并行的团队，最先该优化的也是这里：worktree、sparse checkout、共享对象缓存。\n3. **\"3 万次合并\"作为指标要打折看**。PR 粒度变小、agent 互相修冲突都会推高这个数。博客里更值得注意的是 merge queue 被放弃、改成合入后测试，以及\"人看意图不看代码\"。这是工程流程上的让步，不只是工具升级。\n4. **对普通团队**：不需要 Scion。可以借鉴的是：给 CI 和 agent 用的仓库查询走 API（GitHub/GitLab 的 API、git 的 partial clone 加服务端 blame）；把 sparse checkout 和对象缓存做好；给每个关键组件配一个盯监控的 agent。\n\n## 参考链接\n\n- Anthropic 工程博客：[Redesigning source control at Anthropic](https://www.anthropic.com/engineering/redesigning-source-control)（现地址 https://www.anthropic.com/research/redesigning-source-control）\n- Anthropic 原推：https://x.com/AnthropicAI/status/2110047081414987957\n- Kent C. Dodds：https://x.com/kentcdodds （\"Anthropic built its own git and github replacement called scion and antique\"）\n- Jared Smith 反方观点：《Anthropic Moved Its Monorepo to Scion. You Shouldn't.》（sublimecoding.com）\n- Reddit r/programming：https://www.reddit.com/r/programming/comments/1x5spis/anthropic_designs_new_inhouse_monorepo_source/\n- Reddit r/Anthropic：https://www.reddit.com/r/Anthropic/comments/1x5htfb/anthropic_hit_30401_code_changes_merged_in_one/\n- Reddit r/LinuxTeck：https://www.reddit.com/r/LinuxTeck/comments/1x9nlij/anthropic_built_an_alternative_to_git_does_git/\n- Meta Sapling：https://github.com/facebook/sapling\n- Google Piper 论文：https://research.google/pubs/why-google-stores-billions-of-lines-of-code-in-a-single-repository/\n- 命名撞车的 Google Cloud scion：https://github.com/GoogleCloudPlatform/scion\n","html":"","default_view":"markdown","version":2,"updated_by":"4e3fvwoonbfzbvqtdwehr2fzdp","updated_at":"2026-10-29T13:16:48Z","assets":[],"base_url":"/pub/jvzt2fnp4vie/p/"},"sources":[],"topic":{"id":"jvzt2fnp4vie","title":"Anthropic Scion","question":"Anthropic 为什么放弃 git 自己做 Scion，怎么设计的，对普通团队有什么启发？","visibility":"public","slug":"anthropic-scion","hue":344,"emoji":"🌿","owner_id":"4e3fvwoonbfzbvqtdwehr2fzdp","created_at":"2026-10-29T13:16:37Z","updated_at":"2026-10-29T13:16:49Z","published_at":"2026-10-29T13:16:49Z","item_count":0,"report_words":1509,"formats":["markdown"],"url":"https://research.sorrycc.dev/@sorrycc/anthropic-scion"}}
