Cohere发布文化谜题基准：Gemini登顶，多数AI不懂装懂

人工智能模型在理解全球文化时往往力不从心，且倾向于掩饰无知。加拿大AI实验室Cohere的研究人员在测试聊天机器人是否具备深层文化知识时发现，现有模型难以处理特定文化语境下的细微差别。

为验证这一点，团队设计了“CulturalRiddles”基准测试，通过一系列独特的文化谜题来评估模型。例如，“德国的9/11是什么？”这一问题上，28个参测模型中仅有一个答对。由于欧洲日期格式为日/月，9/11指11月9日柏林墙倒塌纪念日，但多数模型被日期格式误导，错误关联到美国“双子塔”事件。

与传统将文化视为静态事实的基准不同，CulturalRiddles要求模型连接看似无关的知识片段并应用于生活场景。Cohere Labs高级研究科学家Julia Kreutzer主导开发了该测试，旨在捕捉那些难以量化却体现真实生活复杂性的模糊概念。

研究团队耗时六个月，与来自45个国家、使用51种语言的166名志愿者合作收集谜题，并对28个AI模型进行测试。志愿者对模型生成的68,154个独特答案进行了评估和标注，研究人员据此对模型在不同语言和文化中的总体准确率进行排名。

Google的Gemini 3.1 Pro Preview以79.4%的准确率位居榜首。OpenAI的GPT-5.5以76.3%紧随其后，Anthropic的Claude Opus 4.7 Thinking以66%位列第三。

表现不佳者差距巨大。阿里巴巴的Qwen 3.5 0.8B正确率仅为0.4%，排名垫底。亚马逊的Nova Micro正确率为8.3%，Google的Gemini 2.5 Flash Lite得分为33.6%。

即便排名第一的Gemini 3.1 Pro Preview，在57个被测试社区中的6个社区准确率仍低于50%，显示行业在提升AI文化意识方面任重道远。

更令人担忧的是，模型普遍倾向于猜测而非承认无知。即使明确允许回答“我不知道”，模型采用该选项的比例仅占0.7%。审核显示，约31%的答案纯属捏造，且带有不同程度的创意。

Kreutzer指出，模型常自信地给出荒谬甚至冒犯性的回答，默认采用网络主流文化视角，而非基于本地语境。实际应用中，许多用户反馈必须切换至英语才能获得有用回复，因为母语答案常缺失关键文化语境，甚至违反文化规范。

Cohere Labs得出结论，若AI要服务于全球所有群体，文化意识必须从底层构建。目前，CulturalRiddles的谜题、代码及演示程序已开源，团队希望学术界与工业界能共同参与，持续完善这一基准测试，推动AI在“软任务”上的进步。