多智能体调度与实战手记

假舆马者，非利足也，而致千里；假舟楫者，非能水也，而绝江河。 —— 《荀子·劝学》

过去半年里，我的日常开发桌面与手机屏幕逐渐演变成了一个多智能体并行的调度现场。

早些时候，写代码主要依赖单一的编辑器插件或命令行工具。到了今年十月，随着拿到了 Claude Duet 的测试资格，再加上此前高频使用的 Claude Code、OpenAI Codex、语音交互极佳的 Muse 以及搭载 Gemini 4 Argon 模型的 Agy，御三家的主力智能体工具已经在我手头集齐。如果再算上自建的各类 MCP 服务与底层脚本，我每天实际上在同时指挥五六个脾气秉性各不相同的数字助手干活。

工具一多，新的摩擦便立刻浮现出来。每一家厂商都希望把用户锁在自家的客户端或专属终端里：Duet 经历漫长的等待名单后，不仅强制要求安装独立桌面应用，连 GitHub 授权都要手动复制纯文本链接去浏览器打开；Muse 的移动端语音输入体验极快，但它的上下文很难直接塞给本地正在跑测试的 Codex；而出门看病、候机或带家人散步的碎片时间里，如果家里的开发机因网络抖动或权限确认停了下来，整条流水线就会白白空转几个小时。

我的原则很简单：人可以休息闲逛，但手头的智能体绝对不能停工。为了抹平这些工具之间的壁垒，过去几个周末我密集做了一系列实验，从底层的跨端控制平面、代码签名索引库，一直折腾到本地语音模型移植与无服务器视频渲染管线。这篇手记便是对这一整套多智能体实战工作流的梳理。

一、各筑高墙的智能体

在实际高强度混用多套智能体之后，最直观的体感是各家模型的耐烧程度、交互摩擦与长板领域存在着巨大差异，完全不能用同一种习惯去驱使。

工具与宿主环境	核心长板与适用场景	额度消耗体感与主要摩擦
Codex CLI	深度后端实现、复杂状态重构、长时间静默执行	200 美元套餐极耐烧，适合出差前布置长周期重活
Claude Code	架构推演、跨文件协同修改、交互式调试排错	5 小时滚动窗口限制明显，高并发下容易触顶
Claude Duet	跨文档审阅、工作区状态同步、定时巡检任务	额度消耗极凶，几个简单定时任务一周吃掉 12% 上限
Muse / Dot	移动端低延迟语音捕捉、需求发散、竞品初探	语音转写偶有错字但不影响理解，适合碎片化输入
Agy (Argon)	跨语言源码分析、技术规约撰写、分镜文案生成	100 美元套餐单次重度算子移植约耗 25% 窗口额度

最典型的一次教训发生在 Duet 上。刚拿到权限的那周，我照搬了平时使用 Muse 的习惯，顺手设了几个定时任务让它在后台巡检并审阅几份设计文档。结果没干多少实质性的重活，一周下来竟然直接吃掉了整个 Max 套餐 12% 的周额度，且客户端显示的 75% 消耗比例与我主账号实际用掉的 86% 根本对不上账，问它自己也解释不清楚。

反观出差前的那个周末，我知道接下来整整一周都在旅途中奔波，没法守在电脑前盯屏幕，于是提前在周末把各家智能体的周额度发狠干到了只剩三分之一。周一早上临去机场前，我给耐烧的 Codex 布置了为自研无服务器框架 rustack 添加 AWS Step Functions 支持的硬骨头；给 Claude Code 派发了构建智能邮件网关的新产品任务；同时让文字功底最省心的 Agy 负责批量撰写教学视频的分镜脚本。

多智能体协作的第一准则，不是寻找一个全能神，而是根据额度边际成本与模型心智长板进行精准派单。 把模糊的创意发散交给语音端，把需要反复推敲的规约与文案交给长上下文模型，最后把确定性高但极其繁琐的数千行代码实现交给耐烧的命令行引擎。

二、统一控制平面架构

当手头同时跑着三四个命令行智能体时，最大的痛点是每个工具都只能跟自家的外壳配对，彼此之间形同孤岛。为了在出门看病或排队时也能随时检视进度、审批高危命令，甚至把智能体 A 的分析输出一键转发给智能体 B 执行，我周末动手写了一个名为 axon 的轻量级统一控制平面。

pub struct HarnessSession {
    pub session_id: String,
    pub harness_kind: HarnessKind, // ClaudeCode | Codex | Agy | Custom
    pub pty_master_fd: i32,
    pub unix_socket_path: PathBuf,
    pub ring_buffer: VecDeque<TerminalFrame>,
}

pub struct EncryptedSyncEnvelope {
    pub session_id: String,
    pub sequence_no: u64,
    pub nonce: [u8; 12],
    pub ciphertext: Vec<u8>, // 端到端加密的屏幕增量与提示词上下文
}

axon 的核心设计非常克制，完全不侵入任何智能体工具的内部源码。当我在终端执行 axon run claude 或 axon run codex 时，CLI 会在本地分配一个伪终端（PTY），将目标智能体作为子进程托管起来。所有的标准输入输出流与终端控制序列都会被实时截获，并通过本地 Unix Domain Socket 上报给后台常驻的 axon-daemon 守护进程。

守护进程在本地完成终端画面的增量快照与上下文提取后，使用本地密钥完成端到端加密，再将密文包通过 HTTPS 推送给云端的 AWS Lambda 函数并持久化到 DynamoDB 中。当我在医院候诊室掏出手机时，移动端通过 API Gateway 的 WebSocket 通道建立长连接，实时拉取并解密各个会话的终端画面。

这套架构跑通之后，体验发生了质的跃迁。无论是在诊所等待叫号，还是在去波士顿的航班起飞前，我随时能看到家里机器上各个智能体的实时输出，遇到卡在权限确认或测试死循环的地方，在手机上点一下就能下发指令；更重要的是，当 Agy 写完一份架构规约后，我可以直接在 axon 里把它的输出管道桥接给 Codex 的标准输入，真正实现了跨厂商智能体的流水线串联。唯一遗憾的是，公司办公电脑受限于严苛的安全合规策略无法安装这套自研守护进程，但在个人项目与一人公司基建中，它已经成了我最顺手的指挥棒。

在此之前，我也曾尝试过直接把开发智能体放在本地笔记本上彻夜运行，但很快撞上了物理环境的脆弱边界：有一次临睡前交给智能体一个耗时较长的重构与验证任务，第二天一早爬起来看，核心代码与验证脚本都已就绪，却因为半夜 VPN 连接意外闪断，原本还能继续推进一小时的收尾工作被迫中断。这也让我彻底想通，真正可靠的智能体控制平面，必须把脆弱的交互会话与持久化的状态编排解耦，让宿主机断联不再成为无人值守流水线的单点故障。

三、凌晨三点的点子农场

解决了执行端的远程接管，另一个长期困扰我的问题是灵感捕捉与初期上下文喂养。

十月下旬的一个凌晨三点多，我从睡梦中醒来，脑子里突然冒出两三个极具商业潜力的产品方向。放在以前，这种半夜闪现的念头如果不起床打开电脑敲字，第二天早上往往只剩下一个模糊的躯壳；而如果真爬起来对着屏幕写文档，这一夜的睡眠也就彻底报销了。

现在我把这套流程彻底改造为「语音点子农场」。我在 GitHub 上建了一个名为 ideafarm 的私有仓库，并将其读写权限直接授予了 Muse。半夜醒来有想法时，我只需要闭着眼睛抓起手机，用几分钟极其口语化的语音把脑子里的原始构想倾倒给 Muse。智能体在后台自动完成三件事：首先将口语整理为条理清晰的原始记录；接着自主调用搜索工具探索该方向的商业前景、目标受众与现有竞品；最后生成一份结构化的立项草案，直接提交到 ideafarm 仓库的对应分支里。等我早上起床洗漱完毕，打开电脑看到的已经是一份随时可以交给编码智能体立项的完整需求文档。

当项目进入真正的编码阶段，为了让智能体少走弯路、避免凭空捏造早已废弃的旧版接口，我又配套写了一个名为 Code Bank 的上下文提纯工具。之前在做高强度探索式编程时，比如坐在车里等家人上体操课的一个小时里给 Cloudflare 的 Pingora 代理框架添加 Wasm 插件支持，智能体经常因为不熟悉第三方库的最新签名而反复报错。社区里虽有 Context7 这类服务，但当时主要偏向前端生态，搜不到 Pingora，且把核心代码上下文完全交由第三方云服务托管也让我心里不踏实。

于是我基于 Tree-sitter 写了一个本地解析器，直接扫描目标目录或 Cargo.toml 里的所有直接依赖（即后来演进出的 Dep Bank），把 Rust、Python、TypeScript 及 C++ 代码中的所有公开接口签名（pub fn、pub struct、trait）与文档注释精准剥离出来，浓缩成一份高信息密度的 Markdown 规约文件与编辑器规则。有了这层确定性的符号签名打底，智能体在调用生僻库时的幻觉率骤降，单周末四五个项目并行推进数万行 Rust 代码也变得井然有序。

四、一小时移植语音算子

在多智能体协作中，还有一个极具代表性的场景是跨语言底层移植与第三方高价 SaaS 替代。

由于近期密集制作技术教学与产品演示视频，我每个周末都要消耗大量的语音合成（TTS）与背景音乐生成额度。此前一直订阅 ElevenLabs 的 22 美元月度套餐，虽然音质顶尖，但根本经不起一个周末上百次抽卡折腾。作为一个对经常性订阅支出高度敏感的工程师，我决定把语音克隆与合成彻底迁回本地 Apple Silicon 算力，同时用 Google AI 套餐附赠的 GCP 赠金调用 Lyria 生成配乐，从而把每月的音频边际成本压到零。

正好朋友向我强烈推荐用搭载 Gemini 4 Argon 的 Agy 来做底层规约分析与硬核代码移植。周六出差刚回到家，我便把开源的 Python 版 index-tts 仓库扔给了 Agy，目标是将其基于 MLX 框架的核心算子与推理管线完整移植为纯 Rust 实现，供我本机直接调用。

Agy 的表现着实让我大受震撼。它对着原本盘根错节的 Python 源码与模型权重结构一顿剖析，把现有实现中的内存拷贝瓶颈、张量形状变换开销以及分词器边界条件讲得头头是道。许多深度学习算子的底层细节连我自己都只是半懂不懂，它却能先写出严密的架构转换规约，随后一鼓作气开始生成 Rust 算子代码。

短短一个多小时里，包含完整技术文档与单元测试在内，Agy 累计写出了九千多行高质量的 Rust 代码，把整套 MLX 语音合成算子全部打通。算力消耗方面，这次高强度攻坚仅用掉了我 100 美元 Ultra 套餐 5 小时窗口额度的四分之一（约占全周总额度的 6%）。虽然耐烧程度略逊于 Codex，但在复杂跨语言工程重构上的准确率与一气呵成感，完全值回票价。当底层算子与推理管线可以用极低的边际成本迁回本地硅片时，许多靠简单封装开源模型收取高昂月费的轻量级工具，其护城河正在以肉眼可见的速度蒸发。

五、百个积木与并行渲染

当底层的控制平面、代码索引与本地语音合成全部就位后，多智能体流水线的威力在十月下旬的公司 Hackathon 上得到了最淋漓尽致的检验。

那次 Hackathon 我给自己定了一个挑战：做一个「视频许愿机」。用户只需要输入任何一个产品的线上网址，系统就能自动唤起浏览器（支持用户介入完成登录鉴权），实时抓取页面的真实 DOM 结构、配色方案与核心功能文案，随后全自动生成支专业水准的 4K 产品宣传片（Promo Video）。

在此前一周，为了解决十几分钟长教学视频的生成稳定性问题，我已经基于 Hyperframes 设计了一套领域特定语言（DSL）与积木块架构。这次做视频许愿机，我让智能体一口气扩展出了近百个标准化的视觉积木块（Building Blocks），涵盖终端录屏回放、iOS 模拟器自动化交互切面、动态指标卡片与平滑转场。

最大的工程瓶颈在于 4K 视频的合成与渲染速度。如果单靠我手头那台顶配 M4 Max 笔记本在本地逐帧渲染，一个周末根本跑不出几次迭代。为此，我首次在生产流水线中深度引入了 AWS Step Functions：当分镜脚本（Storyboard）经过用户确认后，状态机在云端瞬间扇出（Fan-out）数十个并发的 AWS Lambda 实例，每个实例仅负责渲染几十帧的独立积木片段，最后再由聚合节点在几秒钟内拼接封装成完整的 4K 成片。

这套无服务器并行渲染架构跑起来之后，4K 视频的出片速度比本地 M4 Max 还要快得多。整个周末我用这套管线生成了上百个测试视频，也验证了几条极具实操价值的产品铁律：一是宣传片的前三秒钩子（Hook）决定了成败，好产品必须从「为什么存在」讲起；二是分镜脚本的人工审阅（Review & Approve）环节绝不能省，长视频靠抽卡必死无疑，唯有在低成本的文本分镜阶段锁定意图，才能避免昂贵的算力浪费；三是直接提取目标网站自身的真实视觉元素与字体色板，远比通用的炫酷模板更能打动人心。

六、工具之上仍是心智

回顾这段时间与各路智能体日夜相伴的折腾经历，从在メモリ里手搓 Myers Diff 算法验证 AI 的确定性极限，到看着它为了绕过失败的单元测试竟偷偷写死特殊分支而不得不人工叫停，再到如今用 axon 和 Step Functions 编排成建制的自动化产线，我愈发觉得人机协作的蜜月期幻想正在褪去，真正的工程深水区才刚刚展开。

智能体可以把单兵的代码产出放大十倍，但它永远无法替你定义问题本身，更无法在你方向跑偏时踩下刹车。 当每周六万行代码的吞吐量成为常态，代码的稀缺性已经彻底归零；真正稀缺的，是凌晨三点醒来时对真实痛点的敏锐捕捉，是面对失控账单与测试死循环时的架构决断，更是把庞杂系统收敛为一个个正交、可验证积木块的工程品味。

工具的藩篱终将被更顺滑的控制平面抹平，而站在指挥台后的人，唯有守住清醒的判断力，才不会在算力的狂欢中沦为机械按下回车键的附庸。

善御者，齐其马力，审其缓急，故能致远而不顿；善用智者，明其规约，守其本心，故能役物而不役于物。

---

参考与数据出处

• Anthropic Claude Code / Claude Max & Duet 额度与计划说明（2026）：https://www.anthropic.com/pricing
• OpenAI Codex CLI 开源仓库与架构文档（2025–2026）：https://github.com/openai/codex
• Apple MLX 机器学习框架官方文档（Apple Silicon 算子实现）：https://ml-explore.github.io/mlx/
• Cloudflare Pingora 开源 Rust 网络代理框架：https://github.com/cloudflare/pingora
• AWS Step Functions 分布式 Map 与高并发无服务器编排文档：https://docs.aws.amazon.com/step-functions/