
据媒体报道,Anthropic近日发布报告披露,匿名研究人员曾试图利用其旗舰AI模型Claude开展涉及致命生物武器的研究。尽管Anthropic成功拦截了相关请求,且暂无证据表明造成实际伤害,但随着前沿大语言模型科学推理能力的跃升,其构想出真正致命新病毒或细菌的风险正日益加剧。
“功能增益”研究的隐蔽风险
报告指出,被拦截的危险请求花样繁多。在一起典型案例中,研究人员声称申请关于基孔肯雅病毒(Chikungunya virus)的“功能增益”研究资助,并请求Claude协助撰写申请书。
所谓“功能增益”研究,旨在通过增强病原体的致死性或传播力,以解析其自然感染机制。此类研究虽具合法科研价值,但不法分子常以此为伪装,通过“越狱”手段欺骗大语言模型,获取本应受安全护栏限制的危险指导。
Anthropic警告,若人为制造出致死性更强的病毒,后果不堪设想。由于基孔肯雅病毒在自然界本就循环传播,一旦作为生物武器被故意释放,极难与自然爆发区分。这意味着,一种经AI干预变得更具致命性的蚊媒病毒,可能在研究人员毫无察觉的情况下扩散。
双用途技术:从美容护肤到隐蔽暗杀
另一起事件中,研究人员试图利用Claude开发“新型毒液和毒素”。这一动向尤为令人担忧,因其触及了“双重用途”技术的灰色地带。
Anthropic强调,毒素开发存在大量正当理由。例如,源自致命细菌的肉毒杆菌毒素,如今广泛用于治疗偏头痛、痉挛及除皱。然而,同一项技术既可能催生更高效的医美方案,也可能沦为隐蔽暗杀的利器。冷战时期,蓖麻毒素便曾被装入伪装成雨伞的武器中,用于刺杀记者。
这种双重属性给AI企业带来严峻挑战:过度封锁可能扼杀合法科研并将客户推向竞争对手;但若未能识别恶意应用,后果可能是灾难性甚至致命的。
监管困境与未来威胁
尽管Anthropic表示已阻止上述潜在有害请求,但无法确定有多少类似尝试绕过了技术护栏。案例凸显了监管大语言模型的困境:直接屏蔽“制造更强新冠病毒”等显性请求相对容易,但要分辨哪些看似有价值的科学探究实则掩盖着设计致命毒素或高传染性病原体的企图,则极为困难。
Anthropic承认,此前模型科学能力有限,客观上构成了一道防线——若生物学原理不通,病原体设计便难以造成危害。然而,随着模型推理能力提升,这一缓冲正在消失。虽然Claude等闭源模型管控严格,但开源大语言模型的性能仅落后顶级前沿模型数月,且往往几乎没有任何安全护栏。
随着大语言模型不断进化,人类或许正逼近一个临界点:阻止不法分子开发强大新病原物的唯一障碍,仅剩其主观意愿。这对于希望物种延续的人类而言,绝非慰藉。