MLX 开源数组框架专为搭载 Apple Silicon 的 Mac 设计，利用其统一内存架构，为 AI 研究者与开发者提供私有化本地实验环境。借助最新发布的 MLX 版本，用户可直接在桌面端运行包括近万亿参数的 Muse Spark Open 在内的前沿模型。
M5 Ultra 性能显著跃升
基准测试显示，M5 Ultra 芯片凭借 GPU 神经加速器（Neural Accelerators）对矩阵乘法的专用硬件支持，在首 token 时间（TTFT）上表现优异。与上一代 M3 Ultra 相比，M5 Ultra 处理极大上下文任务时的 TTFT 最快提升 4.6 倍，使其成为处理长上下文任务的首选桌面设备。
在生成速度方面，受限于内存带宽，M5 Ultra 凭借 1.2 TB/s 的统一内存带宽（M3 Ultra 为 819 GB/s），实现了 1.6 倍的 tokens/s 增速。能效方面，M5 Ultra Mac Studio 峰值功耗约 300W，仅略高于 M3 Ultra 的 200W，适宜部署于家庭或办公环境。
多机并行突破显存瓶颈
对于参数量巨大的模型，如原生精度下需超 1.6TB 内存的 Muse Spark Open（816B），单机无法承载。即便采用 4-bit 量化（NVFP4）将内存占用降至约 493GB，加上中间计算开销，仍需多机并行。MLX 支持两种主要并行方案：
- 流水线并行化：将模型层分布在多台机器上顺序执行。macOS 26.2 引入基于 Thunderbolt 5 的低延迟 RDMA 驱动程序，MLX v0.30.1+ 通过
jaccl通信集合工具利用此特性。在预填充阶段，流水线并行化可将大上下文分割并重叠计算，相比单节点最快提速 1.8 倍。 - 张量并行化：将模型每一层的宽度分布在多台机器上，实现层内计算并行。该方案依赖极低延迟通信，Thunderbolt RDMA 至关重要。随着机器数量增加，张量并行化优势显现。在四台 M5 Ultra 集群中，Muse Spark Open 在解码阶段维持显著加速，媲美密集架构模型。
硬件连接上，采用双 Thunderbolt 电缆网格可进一步提升带宽。在四台 M5 Ultra 运行 Muse Spark Open 处理 65,536 token 上下文时，双电缆将 TTFT 从单电缆的 50.5 秒降低至 40.6 秒。
本地代理式 AI 部署
MLX 简化了本地代理式 AI 的部署。通过 mlx_lm.server 配合 mlx.launch，用户可轻松启动多机并行服务器。例如，在端口 8080 运行 Muse Spark Open 后，即可配置 OpenCode 等工具调用本地 LLM，实现私有化代理编码体验。
过去一年，MLX 通过软件支持 M5 神经加速器、基于 Thunderbolt 的 RDMA 低延迟通信以及对混合专家（MoE）架构的高效实现，大幅提升了在 Apple Silicon 上运行最先进 LLM 的效率。如今，配备 M5 Ultra 的 Mac Studio 已能本地流畅运行超 8000 亿参数模型，标志着桌面端 AI 推理能力的重大突破。