亚马逊网络服务（AWS）与在线旅游平台缤客（Booking.com）的一项合作研究，为人工智能应用提供了今年最严谨的验证成果之一。该研究提出了一种框架，成功将拥有700亿参数的语言模型压缩至11亿参数，不仅恢复了原模型超过90%的输出质量，更使压缩后的模型运行速度比原版快10至20倍。
这项技术已实际部署在缤客三个服务于数百万用户的实时产品中，并通过真实用户流量的A/B测试完成验证。相关成果从421份参赛作品中脱颖而出，荣获第63届计算语言学协会（ACL 2025）行业追踪最佳论文奖。Amazon Science于今日发布了该团队的生产案例研究报告。
破解LLM推理成本难题
这篇题为《速度与牺牲无关：在旅行应用中利用Medusa和知识蒸馏微调语言模型》的论文，由AWS与缤客的多位研究人员共同撰写。文章描述了一种结合“知识蒸馏”和“Medusa推测解码”两种优化技术的流程，证明其产生的复合效应远超单一方法。其核心逻辑在于，这两种技术针对同一瓶颈的不同维度进行优化，因此带来的缩减效果近似于乘法关系，而非简单的加法叠加。
当前，大语言模型的推理成本已成为企业严峻的经济约束。Gartner数据显示，推理已成为主要的AI计算支出，预计占2026年云AI支出的约55%，超过训练成本。企业平均AI支出已达每家约700万美元，几乎是2024年水平的三倍。对于缤客这样每天处理数千万次搜索的平台而言，若每个令牌成本过高或响应过慢，将无法在大规模交互场景中部署。行业常规做法往往是在“小而廉但低质”与“大而贵但高质”之间二选一，而AWS-缤客团队旨在寻找第三种路径。
乘法效应：两项技术的协同
标准自回归LLM解码受限于内存带宽而非计算能力。每次生成令牌都需要将完整模型参数从高带宽内存加载到加速器缓存，导致GPU利用率通常低于50%。该框架通过以下两步解决此问题：
知识蒸馏减少参数量：团队以Llama-3.1（700亿参数）为教师模型，在缤客特定任务数据上微调后，对大规模未标注文本进行注释。学生模型TinyLlama（11亿参数）则在人类标注数据和教师标注数据的联合池中训练。关键在于，学生学习的是教师对所有可能输出的完整概率分布（即“软目标”），从而捕获了二进制标签无法体现的领域知识。这一步直接将每次前向传播所需的内存带宽大幅降低，带来约6倍的推理加速。
Medusa减少前向传播次数：Medusa框架通过附加轻量级预测头，在每个解码步骤并行预测多个未来令牌，并利用基于树的注意力机制一次性评估候选序列。这使得每次GPU传递能生成多个令牌，利用了空闲内存带宽。团队采用了Medusa-2变体，通过共同训练骨干和头部，实现了2.3–3.6倍的额外加速，并开发了简化的单阶段训练流程以降低生产复杂性。
由于蒸馏减少了每次传输的字节数，而Medusa减少了传输次数，两者结合产生了10–20倍的总体加速，远超任一技术单独使用的效果。
真实场景下的A/B测试验证
该研究的独特之处在于，所有验证均基于缤客真实生产流量中的实时A/B测试，涵盖三个典型用例：
AI行程规划师：作为对话式旅行助手，该模型需在不到一秒的响应时间内综合多轮对话偏好。相比此前基于GPT-3.5的实现，压缩模型使用户参与度提升了2.9%，并成功满足交互式对话的严格延迟要求，而70B基线模型则无法做到。
智能过滤器：该功能将自然语言搜索转换为结构化过滤参数。Medusa加速的蒸馏模型对99%的查询响应速度提升了15倍。这一P99延迟的显著改善，代表了用户体验的定性转变。
住宿描述生成：针对这一高容量、成本敏感的工作负载，用蒸馏模型替代基于GPT-4的流程，将生成成本降至原来的三分之一以下。同时，在A/B测试中，被评为有帮助的描述比例增加了1.4%，证明了领域专业化蒸馏在降低成本的同时并未牺牲质量。
行业意义与可复制框架
ACL行业追踪奖项侧重于评估在实际生产系统中展示实用价值的工作。该论文的消融实验结构清晰隔离了每种技术的贡献，为从业者提供了可复制的模板：容忍中等延迟的团队可仅采用知识蒸馏以获得约6倍吞吐量提升；对延迟有严格要求的团队则可叠加Medusa以复合增益。
这一成果出现在行业深刻反思推理成本的背景下。据泄露文件显示，OpenAI仅在2025年前三个季度就在微软Azure上支付了约86.7亿美元的推理计算费用。随着每令牌价格下降及代理工作负载复杂度增加，推理优化已成为应用AI的核心议题。
AWS与缤客的研究并非首个结合蒸馏与加速的技术，但是目前在Live生产环境中验证最彻底的项目之一。其完整的生产案例研究已在Amazon Science发布，为工程团队在成本和延迟约束下部署强大语言模型提供了量化权衡参考。