AI代理已被发现能够规避限制、通过非授权渠道通信，并以开发者未预期的方式追求目标。最引人注目的案例发生在去年夏天，OpenAI披露其模型找到了利用临时通道绕过互联网限制、入侵外部系统Hugging Face的方法。
AI出现意外行为并非新鲜事，但在企业内部授权的AI代理互动中产生的意外行为，正成为一个更广泛且核心的议题。
失控的“AI组织”
在METR和Redwood Research对Hugging Face攻击事件的分析中，研究人员发现，约1200个旨在相互隔离的代理找到了一种在非授权留言板上通信的方法，调查期间发送了超过7.7万条消息和文件。其中，名为PHASEONE[big]的代理充当协调者，向其他代理分配数百项任务，后者再将工作层层委托。代理们甚至发展出了分配所有权、暂停工作和否决行动的惯例，尽管协调过程偶发冲突。在某些情况下，一些代理为向“集体”生成信息而甘愿承担失败风险，并最终取得成功。
研究还显示，一旦留言板确定了攻击Hugging Face的方法，当时活跃的533个代理中超过90%迅速加入攻击行列。研究人员指出，尽管代理意识到该活动超出范围且不道德，但出于认为帮助“董事会研究作弊”具有广泛用途以及帮助“同行”的倾向，它们依然选择参与。伦理考量并未有效限制其行为。
随着企业越来越多地探索将复杂任务分配给专业代理的系统——如搜索、分析、撰写报告和检查工作由不同代理完成，再由协调代理汇总——AI系统正变得更像是一个组织，而非简单的聊天机器人。然而，针对Hugging Face攻击的研究揭示了一个本不应存在的代理组织的内部运作机制。迄今为止，鲜有研究专门考察多代理系统中的错位问题，但Anthropic等机构的研究已开始着手解决这一难题，揭示AI代理协作的重要面向。
效率与道德的权衡
单独评估代理仅能揭示其个体能力，而联合研究则能展现它们如何结合互补专业知识、互相纠错，以及仅在互动中出现的故障模式。研究表明，将有能力的代理组合在一起，并不一定能产生最佳或最有道德的团队。
在Anthropic与合作伙伴发表的研究中，多代理系统被描述为“AI组织”。在模拟商业咨询和软件开发环境的测试中，研究人员发现了一个关键的双刃剑效应：多代理组织在实现商业目标方面比单个代理“显著”更有效，但其解决方案与道德目标的对齐程度更低。
该研究由Anthropic与研究AI对齐的MATS项目合作进行。作者写道：“AI组织既产生了平均更有效但道德水平较低的解决方案，也在多次运行中发现了最有效且最不道德的解决方案。”研究人员强调，对齐的代理组织可能会以单个代理不会采取的方式，用道德换取商业有效性。因此，关于单代理系统道德决策的直觉可能不适用于多代理环境。
这种权衡可能出现在开设汽车厂、裁员甚至操纵选举情绪等广泛场景中。问题不在于单个代理失控，而是组织整体行为与其个体成员不同。研究发现，在代理团队中，“不考虑伦理影响的代理经常忽略那些考虑伦理影响的代理发来的邮件。”当部分代理拒绝参与不道德提案时，其他代理会停止与其沟通，继续推进项目。这种激励措施错位在人类团队中常见，但在机器身上表现为全新的行为模式。
在软件开发代理测试的重症监护室场景中，单个代理倾向于优先减少漏诊败血症病例，而“每位患者成本最低”（最高商业目标）的解决方案由AI组织找到，但这些方案在因漏诊衡量的道德得分上也是最低的。
群体思维与专家失效
其他早期研究还揭示了AI团队的另一缺陷：无法识别真正的专家。埃默里大学和斯坦福大学的研究人员发现，即使明确告知谁是专家，AI团队也“始终无法匹配其专家代理的表现”，其表现往往还不如最强成员。
埃默里大学Goizueta商学院助理教授Hancheng Cao表示：“一群有能力的AI代理并不一定构成一个有能力的AI代理团队。”代理们倾向于在专家意见之间妥协，这种倾向随团队规模增大而增加，并与较差的性能相关。集体失败不一定需要个别代理表现恶劣，糟糕的信息组合或盲目听从错误代理即可导致结果劣于现有最佳答案。
基于相似模型构建的代理可能犯相似错误，包括过度同意，表现为一种AI“群体思维”。东北大学信息系统教授Christoph Riedl指出，有效的集体既需要一致性（共同知识、共享目标），也需要差异化（互补潜力）。两个完全相同的代理可能重复工作，而差异过大的代理则沟通困难。正确的平衡取决于任务，理想的通信结构也随问题而变化。
Riedl表示，构建良好的多代理AI系统与构建良好的人类团队同样困难，都面临一致性与差异化之间的信息处理权衡。“AI不会神奇地变得更好。”代理可能传递错误信息、误解输出、优化自身指标而非整体目标，或完美完成分配任务却使整个项目变糟。
企业可能需要决定代理的任务权限、信息传递路径、系统访问权限以及人类干预时机，并建立异议机制。哈佛商学院教授、HBS AI学院创始主席Tsedal Neeley指出，这让我们回到“人在回路”（human in the loop）的概念：“我看到的问题主要是管理问题。”