凌晨一点,你在公司内网改一段支付逻辑。Copilot 弹出补全提示,你的手停在键盘上,冒出一个念头:这段代码,是不是已经被传到云端了。

这个念头,本月底前可能有个开关。

微软在旧金山开了一场发布会。台上宣布,GitHub Copilot 将在本月底前支持本地 AI 模型推理,开发者可以在云端模型和设备端模型之间自动或手动切换。发布会的时间是太平洋时间 10 月 7 日上午 10 点,对应北京时间 10 月 8 日凌晨 1 点。

凌晨一点,屏幕还亮着
凌晨一点,屏幕还亮着

现在的 Copilot,全靠云端

先说一下它原来怎么工作。

GitHub Copilot 是微软的 AI 编程助手,能装进 Visual Studio Code、CLI 等工具,根据代码上下文做补全、解释和重构建议。它目前依赖云端托管的模型,后台有个协调器,按性能、成本和准确性去决定把请求路由到哪里。问题也就出在这儿:模型再强,离你的代码太远,断网、内网、合规审查,随便一条都能让它停摆。

两种模式:让它自己选,或者你手动锁死

按发布会的说法,本月底扩展这套机制之后,Copilot 可以自动在云端模型和本地模型之间做选择,也可以强制只走设备端。想手动的人,可以在 GitHub Copilot CLI、Copilot 应用和 Visual Studio Code 里设置自己的偏好。本地模型这边,可以指定提供程序、模型或者端点。

请求往哪走,一直是道选择题
请求往哪走,一直是道选择题

开发者在 Windows ML 里选 MAI Code 1.1 Flash,也可以接一个 OpenAI 兼容的本地端点,用那个端点暴露出来的模型。发布会现场,微软高级技术项目经理凯拉 · 辛纳蒙演示了一遍:Copilot 自己挑了本地模型,没有一股脑把请求丢给云端。

1370 亿参数,为什么只叫醒 68 亿

这次一起亮相的,是一个叫 MAI Code 1.1 Flash 的模型。

它属于「混合专家」这一路,总参数 1370 亿,活跃参数 68 亿。这两个数字放一起容易看懵,可以这么理解:模型不必每次把全部参数都拉起来跑,按任务挑一部分用就行。总量决定它能懂多少,活跃量决定这一次费多大劲。它的另一面出现在 Windows 11 上:微软计划把这个模型引进系统,采用 3-bit 量化,体积缩小了 80%,上下文窗口做到 256K。

总参数 1370 亿,每次只叫醒一部分
总参数 1370 亿,每次只叫醒一部分

相比 6 月那版,MAI-Code 1.1-Flash 在 GitHub Copilot CLI 的 Terminal-Bench 2.1 上提升约 22%,.NET 任务上提升约 15%;输出 token 的流速提高约 25%,完成同一个任务消耗的 token 减少约 25%。还多了一项:6 月那版只认文本,这一版能读图了,可以直接看截图、架构图、UI 草图,照着写代码。

笔记本上的实测数字

最实在的还是这组。

在 Surface Laptop Ultra 上,提示长度从 2K 到 256K token,解码吞吐保持在每秒 40 到 63 个词元。2K 的时候是 63,拉到 256K 还有 40。这条曲线没有塌下去,长上下文下也没崩。对写代码的人来说,这个数字意味着本地推理不再是「能跑但没法用」。

2K 到 256K,吞吐 40 到 63
2K 到 256K,吞吐 40 到 63

「混合智能」,是在分家产

发布会上还端出一个词,混合智能(hybrid intelligence)。

微软的表述是,Windows AI 不再局限于单一的云端调用或者设备端运行,而是根据任务类型、设备性能和安全需求,在两者之间协同。隐私敏感、需要快速响应的任务更多交给本地;复杂模型和高算力需求交给云端。配套的还有执行容器这类受控运行环境,让 AI 智能体拿到必要权限后,去执行更复杂的操作。换个说法就是分工:轻活、私活留在本地,重活、费算力的活送云端。

隐私的活留在本地,代码不出门
隐私的活留在本地,代码不出门

我那点看法

我不想把它吹成什么革命。

方向早就摆在那儿了。苹果在做端侧,高通在做端侧,一堆开源模型也在往端侧挤。微软这次的动作,是把「本地」从备选提到了台面上。

它写进 PPT 的是一句承认:云端不万能,本地也不落后,重点是什么时候用哪个。

本地推理也有它的代价,这部分我没看到完整数据。跑多大的模型、吃多少内存、耗不耗电、老机器上什么表现,发布会给的是一台 Surface Laptop Ultra 的数字,换台普通笔记本未必是同一个结果。

但有一点值得记住。过去两年,AI 的能力一直在往「更强」的方向卷。这次难得有个动作,是往「更近」走的。

跑在哪儿,看任务轻重
跑在哪儿,看任务轻重

你更愿意让 AI 跑在本地,还是跑在云端?说说你的理由。