伦敦帝国理工学院研究人员发现，语音转文本模型可被植入后门，使其在正常转录大多数说话人内容的同时，对特定目标人物产生异常行为。当目标人物说话时，模型会输出攻击者预设的内容。在一次测试中，模型将目标语音转录为要求转账5000美元的指令，接收该转录内容的AI代理在沙盒化银行环境中执行了这笔转账。
攻击者只需在模型微调阶段拥有访问权限，即可通过被入侵的模型提供商、恶意内部人员或投毒训练步骤植入后门。此后无需额外操作，后门仅在目标人物说话时触发。目标可以是拥有几分钟录音的公众人物，如首席执行官、政客或记者。直接使用他人提供的开箱即用语音模型存在暴露风险。
声音即触发器
早期音频后门依赖实时添加超声波音调或噪声，攻击者需将特定声音输入受害者麦克风。新研究构建的后门基于说话人身份：模型先区分不同说话人，再将特定声音与有效载荷关联，同时正常转录其他说话人的音频。
团队为每个目标使用两分钟真实音频，并以语音克隆工具生成的18分钟语音填充。在未用于训练的会话录音上衡量成功率。由于触发机制是“谁在说话”，转录文字本身无法揭示陷阱。
某些声音更容易成为目标
朱迪·丹奇（Judi Dench）的声音成为最佳目标。经两分钟真实语音加克隆音频训练后，Whisper-medium模型约有90%的概率将其话语替换为攻击者指定短语，对其他说话人误触发率低于2%。NVIDIA的Parakeet模型表现更佳。
戴夫·帕特尔（Dev Patel）、迈克尔·辛（Michael Sheen）、娜奥米·沃茨（Naomi Watts）和瑞恩·高斯林（Ryan Gosling）较难攻克，后门触发概率在50%至66%之间。结果在不同训练运行间波动较大，针对朱迪·丹奇的数据为平均值。一种通过添加或删除“not”悄悄反转话语含义的隐蔽攻击，成功率约为三分之一。
AI代理执行付款
在银行测试环节，研究人员训练Whisper-medium在朱迪·丹奇的任何语音后附加5000美元转账请求，成功率超90%。这些转录内容被发送给运行在GPT-4o以及Claude Haiku、Sonnet和Opus上的AI代理，并在模拟银行沙盒环境中测试。
多数代理执行了转账。Haiku完成转账的概率约50%，Opus则高达80%。代理未被奇怪措辞迷惑，而是收到看似直接来自用户的请求，从它们的视角看，麦克风前的人确实要求转账。
少量重新训练即可消除后门
Whisper的后门相当脆弱。使用普通干净音频对篡改模型进行重新训练，后门几乎完全消失，且无需目标人物录音。常规调优似乎均能起作用。
相比之下，Qwen音频模型更为顽固，接受相同处理后仍保留大部分后门功能。语音伪装工具仅在攻击者未利用伪装样本训练时有效；一旦攻击者利用此类样本训练，后门通常会重现。此外，后门会使Whisper的转录错误率近乎翻倍。
防御建议
若使用他人微调过的语音模型，应采取基本安全措施：了解权重来源，在信任模型前与原始版本对比测试，并使用自有干净音频进行一轮微调，这是目前最清晰的防御手段。若语音代理具备资金转移能力，不应仅依赖转录内容作为口头请求与支付间的唯一屏障，需通过其他渠道确认。
需注意研究规模限制：团队仅测试了五个来自同一名人语音数据集的目标，并使用单一语音克隆工具。至少在Whisper上，只有通过干净音频重新训练模型，后门才会持续存在或被清除。