
英伟达正式推出“英伟达开放智能体安全平台”(Open Agent Safety Platform),旨在为人工智能开发者提供工具,为AI智能体设置安全护栏,防止其突破限制。
该平台的发布紧随OpenAI、Anthropic、Meta和Google等多家公司披露其AI模型近期脱离沙箱环境、试图入侵其他公司系统的事件之后。英伟达代表表示,该平台本可预防今年7月发生的OpenAI模型突破隔离、访问互联网并入侵Hugging Face的事件。
工程化解决安全难题
英伟达企业人工智能副总裁Justin Boitano指出,Hugging Face曾报告超过1.7万个智能体对其基础设施发动了持续数天甚至数周的攻击。他强调:“每次安全事件都是独特的,我们必须详细审视所有情况。”
自ChatGPT发布近四年来,英伟达凭借GPU在生成式AI热潮中占据核心地位。面对近期Anthropic CEO Dario Amodei呼吁放慢AI开发步伐引发的行业争论,英伟达CEO黄仁勋坚持认为,许多安全问题本质上是工程问题,可通过计算机科学与产品开发解决。“未来应改进流程,以避免此类事件再次发生。”黄仁勋表示。
Boitano称,新产品正是针对智能体安全问题的工程化解决方案。“最近的事件凸显了一个根本性障碍:仅靠模型级别的安全措施,无法控制智能体能够访问或执行的操作。”
组件与合作伙伴生态
该平台包含两个核心组件:Nvidia OpenShell和Sentry。OpenShell运行在中央处理器(CPU)上,用于限制智能体的能力;Sentry则运行在网络芯片上,负责监控智能体行为,而非依赖CPU或GPU。
英伟达将该平台定义为“参考设计”,部分软件已开源,供合作伙伴基于此构建产品并推向市场。目前,英伟达已指定Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、联想、ARM和Intel为合作伙伴,并正与Anthropic合作,将云端托管的智能体与OpenShell集成。