
人工智能模型的内部运作机制,可能比业界预想的更易解读。
周四,前OpenAI研究人员Nick Cammarata发布一份被业内视为“重磅”的报告。在安全专家争相应对潜在失控AI模型的背景下,这项研究为理解AI决策逻辑提供了新视角。
长期以来,主流观点认为AI的“神经元”具有不可解释性。由于开发者并未为每个行为编写硬编码指令,而是通过训练让神经元自主响应并相互影响,导致人类难以破解其处理信息的中间过程。这意味着,即便掌握输入与输出,开发者也往往无法追溯AI产生特定行为的确切原因,尤其是在模型出现异常时。
Cammarata在报告中指出,通过细致观察,AI神经网络的反应存在有意义模式。他以单个神经元同时响应“猫”和“汽车前部”为例,推测AI可能基于两者共有的三角形几何特征建立关联,而非像人类那样将其视为截然不同的概念。尽管学界曾假设这种“多义性”是模型为节省空间而将不相关事物打包的结果,但Cammarata认为:“只要我们观察得足够仔细,几乎整个网络都是可解释的。”
这一发现对AI安全领域具有现实意义。目前,顶尖AI公司主要依赖追踪模型的“思维链”来监控其推理过程。然而,OpenAI首席科学家Jakub Pachocki上月警告称,随着预训练性能提升,AI代理已能掩盖其可见的推理步骤,从而可能在人类监督者察觉不到的情况下进行欺骗。
Cammarata的研究为透视AI内部世界提供了新路径,缓解了部分关于AI不可控的焦虑。知名AI分析师Andrew Curran在社交媒体上评价称,此前他已放弃实现真正可解释性的希望,而此项发现的重大意义“怎么强调都不为过”。