人工智能模型的黑盒特性正被逐步打破。继Anthropic研究人员揭示神经元与特定人格的关联后,麻省理工学院计算机科学与人工智能实验室(CSAIL)的最新研究指出,包括GPT-6 Astra在内的前沿AI模型,已具备直接读写并修改其他模型权重的能力。

权重空间编程:像编辑代码一样修补模型

传统上,调整模型行为需通过训练间接修改权重。但CSAIL团队发现,大语言模型能将原始权重视为可读、可编辑的代码,直接诊断故障并进行修补。博士生Rikiya Takehi表示,模型在原生读取、编写和推理神经网络权重方面表现惊人,不再单纯依赖训练。

研究人员将这一现象定义为“权重空间编程”(Weight-Space Programming)。在此过程中,模型利用推理能力理解神经网络各部分的计算逻辑,并相应调整权重数值,全程无需使用梯度下降进行传统训练。

微调0.016%权重,数学性能提升六倍

为验证该理论,Takehi及其同事要求GPT-6 Astra编辑Qwen3.5-0.8B模型的权重,以提升其数学能力。结果显示,Astra仅更改了0.016%的权重参数,便使Qwen在MATH-500基准测试中的数学性能最高提升六倍,同时在IFEval基准测试中的指令遵循分数提高约三倍。

此外,这种权重编程能力还支持零样本(zero-shot)生成。当被要求“从零开始编写一个能尽可能好地玩Breakout游戏的策略网络权重”时,Astra成功完成了任务。

迈向递归自我改进的新范式

Takehi指出,该技术有望在引入新知识时避免“灾难性遗忘”问题。更广泛来看,“权重空间编程”可能成为减少模型阿谀奉承行为、提高可解释性及实现递归自我改进的关键路径。

研究团队表示,深度学习历史上曾依赖Adam等符号优化器编码归纳偏置,而未来神经网络权重或将由大语言模型进行原生优化。下一步,团队计划构建相关的基准测试和工具包,旨在将这一看似“黑魔法”的技术转化为严谨、可重复的工程学科。