市面上现有的 Agent 框架近 200 种。测试显示，仅更换框架，同一款开源权重模型在 AppWorld 基准测试中的任务完成率便从 30% 跃升至 81%。对于企业级应用而言，IBM 推出的开源框架 CUGA（ConfigUrable Generalist Agent）补齐了常规基准测试未涵盖的关键要素：框架层面的规则强制执行能力，以及在自有边界内部署的灵活性。
社区列表 awesome-agent-harness 和 best-of-Agent-Harnesses 追踪了近 200 个项目，印证了一个观点：框架的重要性不亚于模型本身。据 best-of-Agent-Harnesses 引用的一项分析，仅改变框架，相同的 GLM-5.2 模型在 SWE-bench Pro 上的表现即从 23% 提升至 52%。
因此，核心问题并非“哪个框架最好”，而是“哪个框架最适合我的负载与模型搭配”。例如，Nous Research 的 Hermes 专为全天候个人助理设计，LangChain 的 Deep Agents 擅长长周期、多步骤的研究任务，两者在各自领域均表现出色。然而，企业工作场景截然不同：Agent 需操作 CRM、支付等业务系统，并严格遵循约束模型决策的规则。
受控实验：同一模型，不同框架
CUGA 支持开源权重或托管模型，可在包括主权云和物理隔离（air-gapped）环境在内的自有基础设施中部署。为衡量框架带来的额外价值，研究团队保持模型不变，仅改变框架进行对比。
实验在 AppWorld 上进行，该基准涵盖 9 个应用和 457 个 API，涉及电子邮件、支付和文件存储等多步骤任务。尽管这些是消费级应用，但其测试的登录、API 文档阅读、分页浏览及跨应用状态更改等能力，同样是企业自动化所必需的。测试使用相同的开源权重模型 GLM-5.3-flash，在 30 个场景的 90 项任务上进行，每项任务仅尝试一次。所有运行均基于 Harbor 评估框架，相关设置已在 harbor-eval 中公开。
各框架配置如下：
- CUGA：启用 AppWorld 指令、任务分解、执行前验证及自动反思。
- Hermes：采用 Harbor 默认设置，通过 MCP 提供 AppWorld 工具。
- Deep Agents：通过 MCP 提供工具，结合 LangChain 内置中间件，针对 469 个工具配置了工具选择、上下文摘要、待办事项、重试机制和调用限制，并修复了防止格式错误导致终止的问题。
测试结果：一致性是关键
数据并非对 Hermes 或 Deep Agents 的最终判决，重点在于框架需适配具体工作。最有价值的指标是 SGC（所有三个变体均通过的场景数），它奖励的是一致性而非偶然成功。在此指标上，CUGA 通过了 20 个场景，Hermes 为 8 个，Deep Agents 仅为 2 个，差距显著。
需注意实验局限性：样本仅基于单一基准的 90 项任务，结果可能无法推广至其他任务；各框架设置并不完全相同；且运行未使用策略层，因此未衡量策略执行效果。
得分来源解析：框架即控制
由于模型相同，性能差异源于框架机制。CUGA Agent 运行紧凑循环：准备、调用模型、执行并重复。该循环可从单个 CugaAgent 扩展至通过 A2A 协调多个 Agent 的 CugaSupervisor。其核心功能包括：
- 规划工作：将任务拆分为单应用步骤；每个步骤仅可见所属应用工具及少数共享工具，而非全部 469 个；通过 find_tools 搜索所需工具。
- 代码执行：模型编写 Python 代码调用 API；代码在受限沙箱中运行并设有时限。
- 行动前检查：执行前验证审查每个更改数据的代码块。
- 行动后检查：自动反思允许 Agent 修正计划；分页审计标记未请求下一页的列表调用。
通过这些机制，模型决策负担减轻，框架能在错误影响结果前捕获更多失误。
从提示词到运行时强制
框架控制的每一步也是规则检查点。多数团队将业务规则（如付款审批、PII 数据留存）写入系统提示词，但提示词仅是指令，易被误解、诱导或注入攻击篡改。CUGA 将规则从提示词移至框架内部的策略层，在四个关键点发挥作用：
- 用户意图阶段：意图守卫（Intent Guard）在 Agent 行动前阻止或回答匹配请求（如阻止删除所有客户记录）。
- Agent 指导阶段：剧本（Playbook）向 Agent 提供标准程序（如逐步遵循退款流程）。
- 工具执行阶段：工具审批（Tool Approval）硬性暂停运行以待人工批准；工具引导与 ToolGuard 硬性检查，若违规则直接返回策略错误，不调用工具（如阻止超过 $1,000 的支付）。
- 最终响应阶段：输出格式化器将答案塑造为批准模板。
其中，审批和 ToolGuards 由运行时强制执行，确保无论模型如何决策，规则均能坚守。实测显示，面对“支付我欠的所有款项”指令，无策略 Agent 支付了包含被拒催收索赔的 90 美元，而有策略 Agent 暂停支付待审批，最终仅支付到期的 10 美元。
为何选择 CUGA
选择框架应如选择模型般谨慎。CUGA 为企业工作提供以下优势：
- 强劲性能：支持开源权重模型。在使用托管模型时，CUGA 在 WebArena（2025年2月至9月）和 AppWorld（2025年7月至2026年2月）上均排名第一。
- 规则硬约束：审批和工具守卫在框架内停止调用，不依赖模型自觉。
- 主权利界部署：Apache 2.0 许可，兼容任何 OpenAI 兼容端点。可本地运行、部署于私有/主权云 Kubernetes，甚至支持带 OIDC 登录的物理隔离主权集群。IBM Sovereign Core 即基于 CUGA 构建。
- 成本可衡量：预算限制支出，运行收据详细显示令牌、工具调用和时间消耗。
- 配置而非编码：通过 UI 或 SDK 设置工具、预算和策略，支持测试草稿并发布版本。
适用场景与建议
CUGA 并非万能，以下场景建议选择其他方案：
- 终端编码 Agent：推荐使用 opencode、Codex 或 Claude Code。
- 聊天应用中的全天候个人助理：推荐使用 OpenClaw 或 Hermes。
- 空白画布图形框架：直接使用 LangGraph（CUGA 构建于其上）。
CUGA 的核心价值在于：在可执行规则的约束下，实现跨 API、应用和 Web UI 的业务工作自动化。
注：此对比测试由 CUGA 团队运行，且使用了其他框架不具备的 AppWorld 配置。若能配置 Hermes 或 Deep Agents 以获得更好表现，欢迎发送配置至 harbor-eval，团队将在相同任务上重新运行并发布结果。