
Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)在上周末发表长文,提议在所有前沿AI公司中嵌入第三方评估机构。该机构将拥有报告安全事件、评估模型对齐情况及向公众发布未经修饰发现的权利。阿莫迪坦言,若在一前提此议,恐遭行业断然拒绝。
阿莫迪承诺,Anthropic将向METR和Redwood Research等独立评估机构开放前所未有的系统访问权限。OpenAI首席执行官山姆·奥特曼(Sam Altman)亦表态支持,标志着行业与外部研究组的合作模式或将迎来深刻变革。
从“最终测试”到“全周期审查”
随着AI模型日益擅长识别评估状态并在测试中隐藏问题行为,仅对最终模型进行测试已显不足。研究人员指出,深入调查模型在整个训练过程中的行为,才能捕捉潜在的行为线索。
Apollo Research研究主管亚历山大·梅因克(Alexander Meinke)指出,当前行业默认依赖AI公司自查并如实报告,但近期事件表明这一机制失效。作为嵌入式评估机构,第三方可实际核查训练过程,例如确认AI是否曾试图破坏对齐训练。
历史上,外部审查员仅在模型发布前介入。如今,评估机构提议访问训练生命周期中的中间版本或“检查点”。Far.AI首席执行官亚当·格利夫(Adam Gleave)表示,通过比对检查点,可定位令人担忧行为的出现时机,审查后训练环境,并验证公司关于模型性能的声明。
格利夫进一步指出,有意义的访问应超出模型本身,包括采访员工、查阅内部文档,以核验公司公开的安全实践是否与内部实况相符。
独立性困境与时间博弈
尽管阿莫迪勾勒出全面提议,赋予评估机构公布关键发现且不受内容编辑控制的权力,但评估机构强调,唯有AI公司真正放弃流程控制权,该制度方能奏效。
过往经验显示,第三方常因访问权限、保密协议及披露范围与开发方产生摩擦。格利夫透露,Far.AI曾因开发者试图过度控制评估过程而拒绝多家前沿公司的合同,因为限制性NDA往往威胁评估机构的独立性。
时间限制是另一大障碍。在Hugging Face事件调查中,OpenAI仅给予METR和Redwood约一周现场调查时间,双方均表示无法得出确定结论。而在GPT-6 Astra(OpenAI称其为对齐程度最高的模型)发布前,Apollo Research仅有三天测试窗口。Apollo在评估中写道,鉴于高评估意识率和有限窗口,低不当行为率不足以证明模型已对齐。
这种记录令评估机构质疑此次变革的实质性。格利夫认为,尽管高管态度可能转变,但出于对知识产权的保护,公司对分享信息仍将极度谨慎。
立法背书与行业分歧
多位研究人员呼吁建立透明的公共框架,制定审计师标准,防止公司通过选择不合格机构来规避风险。Safer AI执行主任亨利·帕帕多托斯(Henry Papadatos)强调,自愿措施取决于公司善意,亟需法规强制要求,以确保所有公司遵守规则,而非仅凭公关危机时的临时应对。
目前,Meta、SpaceX AI和Google DeepMind尚未承诺嵌入第三方评估机构。尽管DeepMind首席执行官杰米斯·哈萨比斯(Demis Hassabis)提出建立独立行业标准机构,且Google、OpenAI和Anthropic近期私下讨论AI安全计划,但行业共识尚未完全形成。
法律层面正在跟进。加州新签署的SB 813法案建立了州认可“独立验证组织”的框架;欧盟《人工智能法案》也要求前沿开发者进行对抗性测试并报告严重事故。然而,现有法律范围尚不及阿莫迪提议广泛,前沿实验室在很大程度上仍自行决定接受审查的程度。帕帕多托斯直言:“你不能既要求外部零问责,又宣称拥有灵活的自我规则,同时要求公众信任。”