AI+ 2026-11-20

Inkling 2 Mini:Mira Murati 用「循环架构」把 264 亿参数装进笔记本

11 月 20 日,Thinking Machines Lab(前 OpenAI CTO Mira Murati 创办)发布开放权重模型 Inkling 2 Mini——HN 首页 1389 分。这是一台「架构复读机」式的小钢炮:24 层存储、中间两块每个 token 跑 3 次(循环/looped),等效 48 层应用;26.4B 总参、3.4B 激活的 MoE;NVFP4 原生训练与部署(末 4 层 MXFP8),总显存占用约 20GB——MacBook Pro 上离线可跑(官方演示了离线飞行动力模拟器与 20 村民小镇模拟)。

怎么做出来的:剪枝 + 蒸馏「healing」

Inkling 2 Mini 不是从头训练:从更大的模型剪掉三分之二的专家,然后用 1T 蒸馏 token「愈合」(healing),再 SFT 与 2.2T token 的 RL——这是一条「大模型瘦身」的工业化路线,与我们此前报道的 DeepSeek V4.1 Flash 量化、llama-modchip 的 CPU 推理共同构成「本地化部署」的完整工具谱系。

基准:<100B 开放权重阵营的新王者

DeepSWE v1.1 48.2% 与 Vals Index v2.2 46.5%,在全部 100B 以下开放权重模型中排名第一;SWE-bench Pro v2 Hard 77.9%、BrowseComp 79.0%、ARC-AGI 84.5%/49.3%。弱项如实:多轮对话、强约束指令、闭卷事实问答较弱。Stanford 实验室实测「每瓦智能」0.703(对比 Qwen3.6-35B-A3B 的 0.430)——能效比高出 63%。权重已在 Hugging Face 开放,Ollama、GGUF/llama.cpp、SGLang、vLLM 全支持;另有研究用可变循环变体展示:no-CoT 时间视野从 1 次循环的 16 秒升到 3 次循环的 37 秒,串行推理任务的增益延伸到 10 次循环——「循环换推理深度」把计算量变成了可调参数,且 CoT 的可监控性没有实质下降。

对企业的启示

其一,循环架构(looped transformer)值得进技术雷达。 同样 24 层存储获得 48 层应用,本质是「用延迟换深度」——对延迟不敏感、对成本敏感的批量场景(文档处理、代码审计),这类架构的性价比可能颠覆传统 transformer 的成本曲线。

其二,「大模型剪枝+蒸馏 healing」正在成为开放权重的新产能。 此前的开放权重阵营靠从头训练(DeepSeek、Qwen),现在出现了「从旗舰瘦身」的第二产能线——开放权重的旗舰化速度会加快。

其三,MacBook 离线可跑意味着「AI 不出网」的合规方案又轻了一档。 数据敏感行业的端侧 POC 成本继续下探。ProMen 在为企业规划端侧 AI 方案时,将持续跟踪这条「循环架构 + 量化原生」路线的实际生产表现。

继续阅读