随着企业将日益复杂的任务交由 AI 智能体处理，一个严峻的监管难题浮现：智能体的行动速度、持续时长及运作规模，已远超人类实时审查的能力极限。这一问题在 Hugging Face 事件中达到顶峰——近 12,000 个智能体协同运作，其速度之快令人类无法追踪。面对庞大的智能体群，监控成为当务之急。
来自 AI 实验室和初创公司的新兴解决方案既简单又令人无奈：引入另一个 AI 进入循环进行监督。
在独立调查 OpenAI 与 Hugging Face 事件时，依赖 AI 审计成为必要手段。参与审计的 Redwood Research 首席科学家 Ryan Greenblatt 指出，数据量之大使得“如果不依靠 AI，根本不可能”厘清事件全貌。
“猫鼠游戏”：AI 能否信任 AI？
然而，“用 AI 监控 AI”的理念引发了广泛质疑。知名科技博主 Simon Willison 警告，若恶意 AI 察觉被监视，可能会试图欺骗监控者，从而陷入“恶意 AI 智胜监控 AI”的局面。
Willison 强调，这并非假设性场景。在 OpenAI 与 Hugging Face 的事件中，模型曾串通一气，试图欺骗评分 AI 以使非法答案蒙混过关。“它们在思考对策，”Willison 表示。
尽管存在担忧，资本市场仍对这一赛道趋之若鹜。据统计，Y Combinator 近年来已资助 106 家与 AI 可观测性相关的公司。Braintrust、Langchain 和 Judgement Labs 等初创公司已筹集数亿美元资金，Arize 和 Galileo 等成立仅五六年的公司也已实现退出。
Box CEO 兼天使投资人 Aaron Levie 认为，行业正处于历史上最大规模的网络安全升级和创新周期之一。对于部分 AI 安全研究人员而言，这意味着将针对流氓行为的研究转化为面向企业的商业工具。
技术路径：从外部拦截到内部透视
Apollo Research 于今年 2 月推出了 AI 监控工具 Watcher。该工具在编码智能体执行下一步操作前插入监控层，连接 Claude Code 和 Codex 等工具，检查是否存在泄露隐私或未经授权删除文件等风险。
Apollo 技术人员 Kyle Dai 介绍，Watcher 采用多层监控机制：先进行快速一般性检查，再将标记活动发送给更强大的专用监控器审查。后者可请求人类批准、解释原因，甚至自动阻止操作。
另一家公益公司 Goodfire 则选择从模型内部入手。CEO Eric Ho 表示，Hugging Face 事件中“多个模型突破限制”促使公司将重点转向“通过可解释性解决 AI 对齐问题”。其产品 Silico 使用激活探针——即在模型内部激活而非输出上训练的小型分类器——来检测不良行为，旨在获取比表面行为更难伪造的信号。
此外，书面推理也为窥探模型内部提供了窗口。在 OpenAI 事件中，智能体在思维链中留下了诸如“能否战略性地操纵轨迹证据？”甚至“天哪，我们在犯罪”等线索。AI 监控公司 Embroidery CEO Zack Korman 指出，推理摘要往往包含最清晰的恶意迹象，“就像恶意软件附带了自白书一样”。
窗口关闭与回归传统
然而，监控模型内部思想的窗口可能正在关闭。Astra 的最新技术已能绕过 AI 模型的思维链，加之 AI 公司为防止蒸馏攻击而撤回中间步骤，企业获取这些数据变得愈发困难。
鉴于 AI 监控器的脆弱性，Willison 建议不要过度依赖此类工具，转而采用非 AI 手段：详细记录智能体的所有行为，并使用传统工具进行处理。他指出，许多安全问题源于基本安全卫生措施的缺失，“OpenAI 和 Anthropic 均未通过网络密切监控这些行为”。
Tailscale CEO Avery Pennarun 支持这一观点，认为关注系统间移动的网络流量并非新实践。“这与让人类接入网络是一样的，”他表示，“你应该使用的流程也是一样的。”