AI智能体扩至千级时治理如何避免崩溃？

meshIQ全球工程负责人Gourab Basu指出，仅靠提示词（prompt）指令不足以约束AI智能体行为，因为智能体在执行中可能动态改变路径。真正的控制意味着在操作进入生产系统前审查拟议行动，例如暂停大额退款请求以待人工审批。

随着企业部署的智能体从十个激增至一千个，原有治理体系面临崩溃风险。Basu探讨了如何构建跨框架的治理体系，以应对规模化带来的挑战。

集成工程领域的核心教训是：编排（orchestration）不等于控制。传统工作流具有确定性，路径由工程师预先定义；而AI智能体引入了非确定性编排层，能够自主决定工具使用顺序及路径调整。

这种动态性意味着提示词无法作为控制边界。盲目信任智能体遵循指令，如同信任合作伙伴系统永远发送格式完美的XML。若执行路径动态变化，治理必须嵌入流程内部，实时掌控执行过程。

以退款流程为例：规则设定100美元以下自动退款，以上需人工确认。在传统工作流中，该条件硬编码于执行路径；而在AI智能体中，若规则仅存在于提示词，则仅为软性指令。

有效的治理层应在执行前检查工具调用及参数：低于阈值继续执行，超过阈值则暂停并等待人工确认。关键在于时机——策略必须在行动可被阻止时生效，而非事后审计。这是将治理从被动“观察”转变为主动“控制”的核心。

当智能体规模从十个扩展至一千个，首先失效的是对企业记录系统变更的一致性治理信心。小规模下，团队可通过手动监督弥补管控不足；但大规模下，访问企业记录的智能体数量剧增，模型能力也扩大了行动范围。

现有安全措施多针对人类用户和传统应用设计。当智能体动态决策下一步行动时，仅在目标系统进行治理已显不足。治理必须成为智能体执行流程的一部分，在行动触及记录系统前确保规则一致。

这并非要将非确定性智能体变为确定性，而是在其周围建立可预测的边界。同时，策略需明确哪些行动可自动化、哪些需人工干预，避免手动审查成为瓶颈或被绕过。

为实现跨框架治理，架构需解耦为松散耦合层级。核心是一个与框架无关的治理引擎，负责政策模型、决策语义（允许、标记、升级、阻止）、审计格式及人机协同控制。这些要素不应随底层框架更换而改变。

变化的是拦截机制。不同框架在生命周期不同阶段暴露工具执行过程（如回调、on_call_tool机制或原始工具循环）。适配器需屏蔽这些差异，确立治理介入执行的节点。

这种分离确保治理贯穿整个智能体架构。无论企业采用何种框架，规范智能体行为的政策应保持一致。

Basu建议，不要让能力扩张速度超过控制力建设速度。在小规模阶段，团队常依赖手动审查弥补管控缺失；但在企业级规模下，这是高风险赌博。

在扩展自主系统前，应将控制、可观测性和治理纳入架构设计核心，明确智能体的访问权限、行动边界及人类判断介入点。一旦智能体嵌入生产工作流，后期补充治理能力将极其困难。进步的衡量标准不仅是自主权的引入，更是随着自主权扩展，对其治理的信心程度。