smolmaxxing项目旨在释放电视盒子、旧手机及单板计算机等闲置硬件的潜力。通过定制内核、优化内存管理及采用权重流式传输技术，该项目成功在这些低配设备上运行了参数量从260K到16B的大语言模型，且所有性能指标均在硬件本体实测得出。

小米电视盒子S（第三代）实测表现

该设备搭载Amlogic S7D芯片（4核Cortex-A55 @ 2.5 GHz），可用RAM约1GB。在未获取Root权限的Android 14系统下，实现了以下性能突破：

  • Qwen3.5-0.8B：生成速度达16.8 tok/s，为出厂默认值的2.2倍。
  • Qwen3.5-2B：实时聊天速度为7.7 tok/s，被视为速度与质量的最佳平衡点。
  • Moon-Beam-8B-A1B（混合专家模型）：通过专家模块按需从闪存分页加载及预取技术，实时聊天速度达7.2 tok/s。
  • Bonsai-8B（1-bit密集型模型）：在全驻留“无头”模式及查找表内核支持下，速度提升至5.2 tok/s。
  • Ling-mini-2.0（16B混合专家模型）：尽管体积是Moon-Beam的两倍，但凭借相同的专家分页器，仍能以5.1 tok/s的速度生成连贯答案。

测试表明，在该设备上，2B模型是综合性价比最高的选择；而16B模型虽能运行，但按字节计算的性能并未优于8B模型，证明单纯增加模型体积并不自动带来优势。

iPad Air（2013款）极限挑战

这台拥有13年历史的平板电脑配备Apple A7芯片及1GB RAM，仅使用CPU且在iOS 12.5.7越狱环境下运行，结果令人惊讶：

  • Bonsai-1.7B（1-bit）：以24-26 tok/s的速度运行，长对话中保持在18-22 tok/s，且能正确回答复杂问题并生成代码。
  • 4B模型：速度约为10 tok/s。
  • 8B混合专家模型：速度约为3.5 tok/s（关闭一半专家时可提升至5 tok/s，但质量下降）。
  • 16B模型：通过闪存分页加载专家模块，速度在2.6-4.5 tok/s之间，直接在Safari浏览器中完成聊天交互。

核心技术突破

项目团队针对计算能力、内存、闪存及输出质量四大瓶颈进行了专项优化：

  • 计算优化：开发了针对Cortex-A55的Q2_K重打包、1-bit查找表内核及融合Gated-DeltaNet等技术，显著提升了权重处理速度。
  • 内存管理：通过修剪LM头、采用无损1.875-bit三元数据及“无头模式”（强制停止后台服务），将可用内存从约1GB提升至1.3GB以上。
  • 闪存加速：引入带O_DIRECT的权重流式传输、专家分页器及感知缓存的路由预取技术，将9B模型性能提升69%，专家缺失率从13%降至约2%。
  • 质量控制：通过长回答退化测试及重复惩罚机制，将退化长回答的比例从12/13大幅降低至1/13。

这些技术具有广泛的适用性：1-bit查找表内核仅需基础NEON指令，适用于如iPad A7等老旧芯片；而流式传输引擎则适用于任何Linux或Android设备，只要模型大小超过RAM容量即可生效。所有实验步骤及数据均已详细记录在案，部分优化后的模型文件已在Hugging Face开放下载。