非硅基芯片：模型权重内的计算机
Qwenputer 是一项基于 Qwen 3.5 4B 的实验性研究。其核心创新在于将 RISC-V CPU 直接嵌入模型权重，并利用 Gated DeltaNet (GDN) 注意力层作为随机存取存储器（RAM）。该“CPU”完全在模型前向传播过程中运行，无需外部运行时环境或工具调用，即可执行算术运算及 C 语言、MicroPython 代码。
这并非插件或沙箱环境，而是通过修改模型结构实现的内部计算能力。研究者还在此基础上集成了实验性的模型内文件存储功能。相关后续研究探讨了混合模型如何利用 RNN 状态隐藏推理过程以规避思维链（CoT）监控，以及编译权重如何作为不可篡改的内部监控工具。
GDN 层重构为精确 RAM
Qwen 3.5 采用 Gated DeltaNet（一种线性 RNN）作为部分注意力机制。每个头维护一个状态矩阵并通过 delta 规则更新。研究发现，通过将门控值设为 1（不衰减）、写入强度 beta 设为 1（完全替换而非混合），并使用独热键编码，每次写入操作可精确覆盖一行数据，每次查询可精确检索值。
这意味着 GDN 层可作为精确的 RAM 使用。与传统注意力机制相比，GDN 的状态大小不随上下文长度增长，成本更低。尽管 Schlag 等人曾在 2021 年证明线性注意力可作为关联记忆，但此次创新在于使其在生产级模型中达到支撑 CPU 运行的精确度和可靠性。
CPU 架构与编译机制
研究者将 CPU 描述为电路，编译器直接将每一步操作（如读取寄存器、算术运算、跳转）转化为 Transformer 层的权重：注意力头用于查找数据，前馈单元执行算术，DeltaNet 头持有 RAM。CPU 随着模型解码过程运行，每条指令由指定地址、数值和结束步骤的 token 组成。
该 CPU 为 32 位 RISC-V 核心（RV32IM，含 Zba 扩展及大数运算单元），占用 Qwen 前 11 层。目前已通过官方 riscv-tests，程序运行结果与 qemu 模拟一致，并已连续无错运行 1800 万条指令。虽然速度不及 Linux 级芯片，但已实现完整 RV32IM 指令集，并能在前向传播中运行 C 和 MicroPython 代码。
性能表现与文件系统
Qwen 3.5 4B 无需后训练即可使用该 CPU。通过特定的工具调用格式发送指令并读回结果，所有计算均在内部完成。基准测试显示：
- 在 DeepMind 测试集中，Qwenputer 在 div_big、mul_div_multiple_longer 等项目中得分高达 97.5%-100%，显著优于基础 Qwen，并与配备 Python 工具的 Qwen 表现相当或更优。
- 在 NUPA 长整数算术测试中，准确率从 48.6% 提升至 100%。
此外，研究者实现了基于 DeltaNet 状态的文件系统，支持 put/get/delete 等操作，最多容纳 512 个文件。该文件系统具备持久性，跨对话获取变更事实的概率达 90%，优于单纯粘贴历史记录的效果。
局限性与开源信息
Qwenputer 仍存在局限：检查点文件大小达 18.8 GB（约为基础模型两倍），需专用驱动 RvChat 引导固件，且计算速度较慢（L4 GPU 上每秒约运行 3,200 个 CPU token）。未来目标包括提升速度及实现模型自编写并运行 Python 代码。
该项目完全开源，代码托管于 GitHub，模型可在 Hugging Face 和 ModelScope 下载。用户需在单张 24 GB GPU 环境下，通过特定命令加载固件并运行交互。