TrnRT:专为 AWS Trainium 打造的开源推理引擎

TrnRT 是一款专为 AWS Trainium 硬件设计的大语言模型(LLM)开源推理引擎。该引擎提供与 OpenAI 兼容的 API,支持在单台 trn2.48xlarge 实例上运行。其核心技术在于采用 NKI Megakernels 进行解码优化,并在设备内存与主机内存之间维持高效的前缀缓存。

目前,GLM-5.3-Flash 是 TrnRT 首个支持的模型,更多开源模型的适配工作正在进行中。该项目基于 AgentX 的真实编码代理会话数据构建,旨在通过 NKI 层 Megakernels 在 Trainium2 机器上高效服务大模型。

核心技术与亮点

  • NKI Megakernels 优化:为解码过程的每半层提供一个融合内核,涵盖 KDA 注意力机制、融合 DSA 层、mHC 以及 MoE FFN,显著减少内核边界开销。
  • 百万级 Token 上下文:通过稀疏注意力(Top 2,048)和线性注意力技术实现,支持固定大小的状态管理,可处理长达 100 万 Token 的上下文。
  • 高效前缀缓存:采用基于 FP8 KV 页面的基数树结构,结合用于页面驱逐和状态检查点的主机内存层级,提升缓存命中率。
  • 双引擎并行架构:每台机器运行两个引擎,每个引擎在 32 个逻辑 NeuronCore 上进行张量并行,并由会话亲和路由器支撑,确保对话连续性。
  • 完全兼容 OpenAI API:支持聊天、补全、流式传输、工具调用及推理输出,开发者可使用任意 OpenAI 客户端直接调用。
  • 离线编译机制:所有计算图均在 CPU 主机上预先构建,服务节点加载后默认不进行任何编译操作,降低运行时延迟。

性能基准与成本效益

基于 SemiAnalysis AgentX 重放的真实编码代理会话数据,在一台 trn2.48xlarge 实例上同时运行 32 个代理(100 万 Token 上下文)的性能表现如下:

解码批次 请求/分钟 Token/分钟 每用户解码 Token/s (p50) 首 Token 延迟 (缓存命中 p50) 成本 ($ / M tokens)
4 19.3 2.36M 46.6 76.73 s $0.061
8 25.2 3.02M 29.4 28.82 s $0.047
12 (默认) 28.9 3.57M 22.3 6.53 s $0.040

注:Token 计数包含输入(含缓存输入)和输出。上述成本基于 us-east-2 区域竞价实例价格($8.60/小时,数据截至 2026 年 11 月 3 日)。若使用容量块($35.76/小时),批量 12 的成本为每百万 Token $0.167。

当前仓库版本已通过严格验证:在所有 32 个等级上,157 个编译图的图等价性保持一致;384 个测试请求的输出与早期版本字节完全一致;双引擎服务端到端测试通过。

工作原理与架构

在该场景下,解码性能主要受小型指令、内核边界和集体通信主导,而非内存带宽限制。因此,TrnRT 的每个解码 Megakernel 遵循三条核心规则:将工作集保留在 SBUF 中、对称使用两个物理核心、并将集体通信移入内核内部。

项目仓库结构清晰,包含 CLI 服务、引擎调度、模型加载(GLM-5.3-Flash)、NKI 内核实现及离线编译管道等模块。开发者可通过 Docker 快速构建镜像,并在任意 x86_64 主机上完成耗时数小时的编译缓存构建,随后在 Trainium 实例上部署服务。

支持与许可

TrnRT 目前正式支持 AWS Trainium2 (trn2.48xlarge) 和 GLM-5.3-Flash 模型。该项目由 RunAnywhere 构建,采用 Apache License 2.0 开源协议。项目致谢 AWS Neuron 团队、Z.ai 以及 SemiAnalysis 提供的数据支持。需注意,TrnRT 为独立开源项目,未与 Amazon Web Services 关联或由其背书。