Secure Code Warrior最新发布的“SCW AI信任指数”显示,经过精心设计的规则集可将AI生成代码的安全风险降低高达70%,而模糊的提示词则会导致结果不可靠。研究还发现,部分低成本模型生成的代码风险有时低于旗舰系统,这挑战了“价格更高或更新颖的模型能产生更安全输出”的传统假设。

该指数评估了超过30款AI模型,涵盖OpenAI、Anthropic、Google、Alibaba、Mistral等公司的产品。研究利用AI系统在11种编程语言中构建了超过1.5万个应用程序和4,130万行代码,并在旨在反映真实软件开发场景的框架内进行评估,同时对比了功能完整性与安全性结果。

提示词决定安全上限

测试数据显示,每千行代码的漏洞数量在0.24到3.66之间波动,最佳与最差表现者相差15倍。提示词和规则集对生成代码的安全性有实质性影响:较强模型从精心设计的规则中获益更多,较弱模型获益较少。

在风险较低的一半模型中,Secure Code Warrior自有规则及第三方规则平均将风险降低了54.15%;而在风险较高的一半模型中,平均降幅为34.05%。基准测试还指出,没有单一模型在所有测试框架中均领先。在基线测试中,15个不同模型曾在至少一个框架中排名第一或并列第一,其中GPT-6-Astra-High在四个框架中表现最佳。

成本与安全非正相关

数据揭示了一个引人注目的现象:价格与安全风险之间并非简单的正相关。一些预算型模型在未添加额外规则的情况下,其测得的风险甚至低于高端模型。

例如,GPT 6 Luna的运行价格为0.10美元,平均风险评分为19.4;而Claude Opus 5.5的运行价格为8.17美元,平均风险评分高达43.6。这一结果基于仅使用模型本身、未应用任何规则的测试环境。这表明,仅基于品牌知名度、表面性能或价格做出的采购决策,可能无法反映编码任务中的实际安全结果。

Secure Code Warrior引用斯坦福大学的研究指出,纯人工提交代码每千行引入约0.08个漏洞,远低于AI基准测试中观察到的范围。随着软件团队日益依赖大型语言模型,预计到2027年,AI将占已提交代码量的65%,这给安全团队带来了更大压力。

Secure Code Warrior联合创始人兼首席执行官Pieter Danhieux表示,人们容易假设新的或前沿模型比预算模型更安全,但最新发现表明情况并非总是如此。他强调,模型默认情况下不会执行安全编码,输出的安全性取决于所使用的框架、提示词和规则,且这种行为随版本发布而变化。因此,安全负责人和开发者需要基于当前证据的风险视图,并通过开发团队正在使用的语言和框架进行验证。