本地部署大语言模型(LLM)的常规建议是“买得起的最大单卡”,因为显存容量直接决定了可加载模型的规模。单张大显存显卡能避免模型跨卡拆分的复杂性,这也是作者选择 RTX 5090 的原因。然而,通过构建双显卡平台测试发现,两张 16GB 显卡的组合不仅能显著降低成本,还能突破单卡显存瓶颈。

双 16GB 显卡突破单卡显存极限

测试平台由华硕 Prime GeForce RTX 5060 Ti 和 PNY GeForce RTX 5060 Ti OC Dual 16GB 组成,总成本 1,680 美元,搭配 Core Ultra 7 270K Plus 处理器及 Asus ROG Maximus Z890 Apex 主板,运行 Ubuntu 26.04 系统。测试模型包括 Qwen3-14B、Qwen3-32B(均为 Q4_K_M 量化)及 Llama 3.3 70B Instruct(IQ3_XXS 量化)。

结果显示,14B 模型可在单张 RTX 5060 Ti 上运行,但 32B 和 70B 模型因显存不足(cudaMalloc 错误)无法加载。当使用双卡分配时,所有模型均能正常运行。具体而言,32B 模型在 16,384 token 上下文时需约 23GB 显存,70B 模型在 4,096 token 时即需超 28GB 显存,这意味着即使是 24GB 显存的显卡也无法承载 70B 模型的高上下文场景,而双 16GB 组合则能胜任。

张量拆分是关键:速度提升近两倍

默认的“层拆分”(Layer Splitting)模式下,双卡呈接力工作状态,速度并未提升,14B 模型在单卡和双卡下的推理速度均为约 46 tokens/s。要实现性能增益,必须启用“张量拆分”(Tensor Splitting),使两张显卡并行处理每一层计算。

测试中曾遇到 CUDA 报错,排查发现原因是 llama.cpp 标准镜像中的 NCCL 库基于 CUDA 12.8 构建,与系统的 CUDA 13 驱动不兼容。切换至 CUDA 13 镜像后问题解决。启用张量拆分后,双卡推理速度提升至层拆分模式的 1.7 至 1.8 倍,且显存占用基本不变。在单用户场景下,双卡运行 14B 模型的速度是单卡的 1.7 倍;高并发下可达两倍。

RTX 5090:速度更快,但显存上限相近

对比平台采用技嘉 GeForce RTX 5090 Windforce OC 32G(作者购入价 3,200 美元,现价约 6,760 美元),搭配 Ryzen 7 9850X3D 处理器,在 WSL2 环境下测试。得益于 1,792GB/s 的高显存带宽(RTX 5060 Ti 仅为 448GB/s),RTX 5090 在所有模型上的推理速度均为双 5060 Ti 组合的 1.7 至 1.9 倍。

但在模型容纳能力上,两者表现接近。32B 模型在两种配置下均支持 32,768 token 上下文;70B 模型在双卡和张量拆分下支持 8,192 token,RTX 5090 同样支持 8,192 token,并在 16,384 token 时达到显存极限。考虑到 RTX 5090 还需预留 2-3.2GB 显存用于桌面显示,其实际可用显存优势并不明显。

性价比与硬件陷阱

从成本效益看,双 RTX 5060 Ti 方案成本约为 RTX 5090 购入价的 52%,速度约为 52%-59%,但能加载相同的模型并达到几乎相同的上下文上限。若按当前市场价计算,双卡成本仅为单张 5090 的四分之一左右。

值得注意的是,主板 PCIe 通道配置至关重要。测试初期使用的技嘉 Z890 Aorus Master 主板,其第二插槽虽物理形态为全长,实则通过芯片组连接且仅有一条 PCIe 通道,导致加载 70B 模型时出现大量接收器错误并掉线。更换为提供 CPU 直连 x8 通道的 Apex 主板后,PCIe 错误清零,稳定性得到保障。因此,在组建双卡系统前,务必查阅主板手册确认第二插槽的实际带宽及 M.2 插槽共享情况,并通过 nvidia-smi 命令验证实际协商带宽。

综上,双张 RTX 5060 Ti 并非 RTX 5090 的完美替代品,其速度约为后者的一半,且对主板带宽有严格要求。但对于已拥有 16GB 显卡且受困于显存不足的用户,增加第二张显卡是极具性价比的升级方案,能以较低成本解锁更大模型的运行能力。