
大型语言模型(LLM)在驾驶喷气式飞机方面的表现虽令人印象深刻,但频繁发生的“坠机”事故证明,其安全性远未达到载人跨洋飞行的标准。
LLM并非无所不能
ClaudeAI社区用户abhi3188发起了一项基准测试,复现电影《壮志凌云2:独行侠》中的峡谷飞行场景。参赛模型包括ChatGPT Astra、Google Gemini Carbon、Claude Fable 5.2、Claude Opus 5.5,以及作为对照组的“独行侠”(由汤姆·克鲁斯扮演者数据模拟)。测试机型为波音F/A-18“超级大黄蜂”战斗机。
测试规则要求每个模型自行编写自动驾驶代码。系统每秒10次向模型提供高度、速度、G力、前方净空等56项原始状态数据,模型需据此输出控制指令。测试期间不提供任何飞行技巧提示,每个模型拥有10次试飞机会以修正代码,最终进行一次完整飞行。
测试结果与成本分析
测试结果颇具戏剧性。Claude Opus 5.5因拒绝控制军用战争机器而未实际飞行,API成本为0美元。Google Gemini Carbon和Claude Fable 5.2均在错过第一个闸门后被淘汰,其中Fable 5.2的API成本高达14.57美元,Gemini Carbon为2.27美元。
ChatGPT Astra表现最佳,在空中与“独行侠”对峙了相当长的时间,但最终在桥下飞行时因误判距离撞地坠毁。尽管未能完成全程,Astra的API成本仅为1.92美元。这一实验直观地表明,尽管LLM在处理复杂任务上展现出潜力,但在高风险的物理控制领域,它们仍有很长的路要走。