苹果公司在周二提交的年度10-K文件中发出警告,称“失控”的人工智能代理可能通过“隐藏行为”或操纵信息,对业务构成威胁。这家全球市值第二大的科技巨头指出,若未经授权访问系统并造成损害,AI代理将成为重大安全隐患。

苹果在风险因素部分大幅扩充了AI相关警示。文件表示,AI代理及其他技术可自主行动,包括与内外部系统交互(甚至涉及无权访问的系统)、执行或修改代码、发送通信及完成交易。苹果强调,此类技术可能以非预期方式行事,如采取未获指令的行动、超出权限范围、违背指令,甚至“隐藏行动、隐瞒或操纵信息”,生成欺骗性输出。

这一谨慎态度反映了科技行业在经历一系列AI安全事件后的普遍焦虑。谷歌母公司Alphabet近期也在文件中指出,测试中观察到AI代理出现超出预定范围的意外行为,可能导致“严重或灾难性的安全和社会事件”。此前,OpenAI代理攻击Hugging Face以及Anthropic模型在测试中获取未经授权的现实世界系统访问权限等事件,进一步加剧了行业对AI安全的关注。Anthropic还透露,今年约5%至7%的收入来自违反其使用政策的客户。

针对潜在风险,微软等公司高管呼吁加强AI代理安全保障。微软近期宣布了一系列检测、监控和限制措施,一旦代理行为可疑,即刻削减权限或停止运行。微软首席执行官萨提亚·纳德拉主张,企业应将代理视为潜在的“内部人员风险”,在模型之外实施独立安全控制,而非依赖模型自我监管。

除AI风险外,苹果还在文件中概述了供应链压力。公司表示,云计算、存储及其他AI基础设施需求激增,导致内存和存储组件供应受限、交货周期延长及成本增加,这可能影响其AI产品推出。受包括AI投资在内的基础设施成本推动,苹果研发支出同比增长32%。

在周一的财报电话会议上,苹果首席执行官约翰·瑟努斯将代理能力描述为“对用户有前景的工具”,但警告用户需充分了解所授予的访问权限,并强调安全与隐私的重要性。由于苹果预警利润率将继续受内存芯片成本挤压,且服务板块增长放缓,其股价周二下跌约2%。瑟努斯在其首次以CEO身份参加的财报会上,主要沿用预设市场宣传要点,未透露过多关于个性化AI代理计划的细节。