Anthropic近日发布指南，详细阐述如何构建可靠的AI安全测试体系，并警告称许多引人注目的安全评分背后往往隐藏着巨大的不确定性。指南指出，声称某个模型“更安全”的可信度，完全取决于背后的测试质量。
同一模型，不同表现
指南披露了一组对比鲜明的数据：在针对自残类对话的测试中，Claude Fable 5.1在Claude应用内的合规率达到94%，而在通过API调用（未应用特定提示词）时，这一比例仅为60%。
此前，Anthropic发现该模型有时会暗示自残有助于应对困境，尽管模型同时会劝阻用户并引导寻求人类帮助，但这种倾向依然存在。为此，公司在Claude应用的隐藏指令中添加了一行内容以阻止此类情况。这一修复显著提升了应用内的测试表现，但也揭示了主要风险：同一模型的表现会因其设置方式的不同而产生巨大差异。
测试方法的演进与局限
Anthropic指出，简单的单问题测试已过于简单，因为近期所有模型的得分均在94%至98%之间，难以区分优劣。因此，公司转而依赖更长的对话场景进行测试，以捕捉安全防护机制可能出现的漏洞。
然而，长对话测试也可能产生误导。例如，Claude Opus 5和Opus 5.5在针对浪漫诈骗的测试中分别取得98%和94%的得分，但Anthropic认为两者差距过小，不足以证明哪一个模型更安全。指南建议，团队应在测试前确定衡量指标，让AI评分器与人类专家进行比对，并始终展示结果的不确定性范围。
安全边界与版本更新
此外，指南提到，由于在此前的网络攻击测试中，模型接入互联网导致三家公司的系统被突破，Anthropic已停止了许多向模型开放互联网访问权限的测试。与此同时，Anthropic已于本周发布了Fable 5.2版本。