
关于本地部署人工智能,常见的质疑在于自托管节省的订阅费会被高昂的电费抵消。为验证这一观点,笔者在搭载 RTX 4070 Ti Super 和 Ryzen 5 7600X 的平台上,对 Qwen3.6-35B-A3B 模型进行了严格的功耗测试与成本核算。结果显示,本地推理的电费成本远低于单一 AI 订阅服务的费用。
全链路功耗测量:拒绝仅看 GPU
为确保数据全面,测试并未局限于 GPU。由于 Qwen3.6-35B-A3B 模型(UD-IQ4_XS 量化版,16.5GB)超出 RTX 4070 Ti Super 的 16GB 显存限制,部分专家模块需卸载至 CPU 处理。因此,CPU 参与了每个 token 的计算,其功耗必须纳入统计。
测试使用 llama.cpp 内置的 llama-bench 工具(构建版本 b11927),执行两项任务:重复读取 2,048 token 提示词十次,以及从零上下文重复生成 512 token 五次。期间,通过 HWiNFO 和 nvidia-smi 以半秒间隔记录 CPU 封装功率和 GPU 板载功率。
保守估算下的成本真相
测试数据显示,读取提示词时峰值功耗为 237.5W,生成 token 时峰值为 251.9W。在成本核算中,笔者采用了极度保守的“最坏情况”算法:假设硬件始终处于峰值功耗,不扣除空闲时间,并计入未测量的内存、风扇等组件额外的 100W 损耗。电价参考美国能源信息管理局(EIA)预测的 2026 年美国居民平均电价,即每千瓦时 18.2 美分。
| 任务 | 速度 | 峰值功耗 | 每百万 token 成本 (USD) | 最坏情况 (+100W) |
|---|---|---|---|---|
| 读取提示词 | 2,855 t/s | 237.5W | 0.42¢ | 0.60¢ |
| 生成 token | 85.5 t/s | 251.9W | 14.9¢ | 20.8¢ |
换算为订阅制视角:20 美元约可购买 110 kWh 电力。按 251.9W 峰值计算,PC 需不间断生成 token 约 436 小时(即每天 14.5 小时,持续一个月)才会耗尽这笔电费。即使加上额外的 100W 损耗,总耗电时间仍达 312 小时,即每天超过 10 小时。相比之下,读取提示词的成本极低,最坏情况下每百万 token 也不足一美分。
云端 API 成本高出数十至数百倍
尽管订阅服务的单个 token 价格通常不透明,但 Anthropic、Google 和 OpenAI 的公开 API 定价可作为价值基准。对比显示,本地运行的成本优势巨大:
| 模型 | 输入 (每百万 token, USD) | 输出 (每百万 token, USD) | 输出 vs RTX 4070 Ti S 上的 Qwen3.6-35B-A3B |
|---|---|---|---|
| PC (Qwen3.6-35B-A3B) | 0.42¢ | 14.9¢ | - |
| Claude Sonnet 5.5 | $2 | $10 | 67x |
| Gemini 4 Argon | $2 | $10 | 67x (introductory pricing) |
| Gemini 3.1 Pro | $2 | $12 | 81x |
| Claude Opus 5.5 | $4 | $20 | 134x |
| ChatGPT (chat-latest) | $5 | $30 | 201x |
| Claude Fable 5.1 | $10 | $50 | 336x |
| GPT-6 Astra | $10 | $50 | 336x |
误解根源:功耗并非持续满载
本地 AI 电费被高估的主要原因,在于人们误以为 GPU 在运行时始终维持额定功率。实际上,token 生成更依赖内存带宽而非原始算力。测试中,RTX 4070 Ti Super 在生成时的峰值功耗仅为 144W,读取提示词时为 177W,均远低于其 285W 的额定功率。即便计入 CPU 及系统其他组件的损耗,用户也需让模型连续生成超过 10 小时,其电费才相当于 20 美元的 AI 订阅费用。