
由前 OpenAI CTO Mira Murati 创立的旧金山 AI 初创公司 Thinking Machines Lab,正式发布了多模态开源模型 Inkling 2 Mini。该模型拥有 264 亿总参数,专为在配备 32GB 内存的 MacBook Pro 或单张桌面 GPU 上离线运行而设计,旨在挑战云端大模型的主导地位。
Inkling 2 Mini 采用独特的“循环 Transformer”架构,在软件工程及工具使用基准测试中,表现可媲美规模更大的系统。其内存占用仅约 20GB,代表了 AI 实验室从紧凑硬件中提取推理性能的技术转向。
技术突破:循环架构重塑推理效率
传统 Transformer 模型以线性方式处理 Token,复杂推理需依赖冗长的思维链(CoT),导致高延迟和高成本。Inkling 2 Mini 则采用 24 层解码器专用稀疏混合专家(MoE)架构,将每个 Token 路由至 128 个专家中的 8 个,标准传递中激活 34 亿参数。
其核心创新在于执行机制:前六层(序曲)和后六层各运行一次,中间十二层利用共享权重运行三次。这种设计使每个 Token 获得 48 次有效层应用和 54 亿有效激活参数,却未增加存储占用。配合注意力残差机制,模型能在迭代中保持信息清晰流动。内部测试显示,非循环基线需多出 140% 的计算量,才能在智能体轨迹损失上与循环模型持平。
为适配消费级芯片,Thinking Machines 在训练中期将专家数量从 384 个剪枝至 128 个,并通过从内部大模型蒸馏 1 万亿 Token 进行“修复”,随后经监督微调及 2.2 万亿 Token 的强化学习优化。模型以前 20 层 4-bit NVFP4 精度、后四层 8-bit MXFP8 精度原生部署,避免了训练后量化带来的精度损失。
针对循环架构可能引发的监管难题,团队发布了配套的可变循环检查点 TML-d24-varloop-research,并与国家深度推理基础设施(NDIF)及 Goodfire 合作研究机械可解释性。初步测试表明,循环机制将无 CoT 推理视野从 16 秒延长至 37 秒,CoT 长度缩短过半,且未出现隐蔽破坏行为上升趋势。
性能实测:速度与成本的双重优势
Inkling 2 Mini 原生支持多模态,具备 100 万 Token 上下文窗口。在开启飞行模式的 48GB M5 Pro MacBook Pro 上,该模型能在几分钟内构建出可玩的飞行模拟器,并驱动本地城镇模拟中的 20 个自主村民。
在标准化评估中,Inkling 2 Mini 在智能体编码和工具使用方面表现卓越。其在 DeepSWE v1.1(48.2%)、SWE-bench Pro v2 Hard(77.9%)和 Vals Index v2.2(46.5%)上,领先所有小于 1000 亿参数的开源模型。在斯坦福大学能效智能基准测试中,其得分 0.703,显著高于 Qwen3.6-35B-A3B(0.430)和 Gemma-4-26B-A4B(0.159)。
然而,受限于总参数量,其在事实回忆方面略逊于密集模型。在 AA-Omniscience v1.1 上,其得分为 -8.6(非幻觉率 63.4%),落后于 Qwen3.8-27B(-6.4,71.4%)。此外,在多轮聊天和复杂指令遵循方面,该模型也稍逊于 Qwen3.8-27B,且偶尔可能陷入重复调试循环或在非英语语言中出现截断。
与同类模型对比,Inkling 2 Mini 在 Artificial Analysis 智能指数上与 Qwen3.8-27B 同为 20.1,但计算量减少约 2.8 倍,运行速度快四倍,每项任务成本低六倍。相比 Gemma 4 31B 和 Meta Muse Glimmer,其在长上下文检索和自主编码工作流中占据主导地位。
许可策略:Apache 2.0 消除商业摩擦
Thinking Machines 以 Apache 2.0 许可证在 Hugging Face 发布 Inkling 2 Mini 全部权重。作为最宽松的开源许可证之一,Apache 2.0 允许企业免费下载、修改、微调并将模型嵌入专有商业产品,无需开源下游应用。这一策略消除了私有本地部署的主要法律障碍,使其在与 Qwen、Gemma 等模型的竞争中更具商业吸引力。
社区反响:本地开发者的热情拥抱
发布后 24 小时内,Inkling 2 Mini 在开发者社区引发广泛关注。UnslothAI 迅速推出量化 GGUF 版本及 llama.cpp 支持,强调其可在 16GB RAM 上运行。Apple Silicon 专家 exolabs 数据显示,在 96GB M5 Ultra Mac Studio 上,该模型解码速度达 210 tok/sec,构建原生应用的速度比 Claude Sonnet 5.5 快 1.8 倍,成本低 11 倍。
独立开发者 Kyle Hessling 称赞其在单 GPU 设置下的智能体能力,称其自主生成运动图形的表现令人惊叹,是除 Qwen 外最令人印象深刻的小型模型。尽管少数测试指出其在游戏机制生成中存在偶尔失败的情况,但整体评价积极,认为其标志着美国在单 GPU 前沿领域的有力竞争。
背景:Thinking Machines 的快速演进
Thinking Machines Lab 由 Mira Murati 与 John Schulman 等人于 2025 年初创立,同年 7 月以 120 亿美元估值筹集 20 亿美元种子轮融资。公司使命是构建可定制的开放科学 AI 系统。
此后,公司节奏迅猛:2025 年 10 月推出微调 API Tinker;2026 年 5 月预览全双工多模态系统 TML-Interaction-Small;2026 年 7 月发布 9750 亿参数 Inkling 及 2760 亿参数 Inkling-Small;2026 年 11 月 5 日发布 5940 亿参数 Inkling 2 Small。随着 Inkling 2 Mini 的问世,Thinking Machines 成功交付了一款兼顾本地部署与高智能体能力的模型,使循环 Transformer 从学术概念走向实际应用。