关于本地部署人工智能,常见的质疑在于自托管节省的订阅费会被高昂的电费抵消。为验证这一观点,笔者在搭载 RTX 4070 Ti Super 和 Ryzen 5 7600X 的平台上,对 Qwen3.6-35B-A3B 模型进行了严格的功耗测试与成本核算。结果显示,本地推理的电费成本远低于单一 AI 订阅服务的费用。

全链路功耗测量:拒绝仅看 GPU

为确保数据全面,测试并未局限于 GPU。由于 Qwen3.6-35B-A3B 模型(UD-IQ4_XS 量化版,16.5GB)超出 RTX 4070 Ti Super 的 16GB 显存限制,部分专家模块需卸载至 CPU 处理。因此,CPU 参与了每个 token 的计算,其功耗必须纳入统计。

测试使用 llama.cpp 内置的 llama-bench 工具(构建版本 b11927),执行两项任务:重复读取 2,048 token 提示词十次,以及从零上下文重复生成 512 token 五次。期间,通过 HWiNFO 和 nvidia-smi 以半秒间隔记录 CPU 封装功率和 GPU 板载功率。

保守估算下的成本真相

测试数据显示,读取提示词时峰值功耗为 237.5W,生成 token 时峰值为 251.9W。在成本核算中,笔者采用了极度保守的“最坏情况”算法:假设硬件始终处于峰值功耗,不扣除空闲时间,并计入未测量的内存、风扇等组件额外的 100W 损耗。电价参考美国能源信息管理局(EIA)预测的 2026 年美国居民平均电价,即每千瓦时 18.2 美分。

任务速度峰值功耗每百万 token 成本 (USD)最坏情况 (+100W)
读取提示词2,855 t/s237.5W0.42¢0.60¢
生成 token85.5 t/s251.9W14.9¢20.8¢

换算为订阅制视角:20 美元约可购买 110 kWh 电力。按 251.9W 峰值计算,PC 需不间断生成 token 约 436 小时(即每天 14.5 小时,持续一个月)才会耗尽这笔电费。即使加上额外的 100W 损耗,总耗电时间仍达 312 小时,即每天超过 10 小时。相比之下,读取提示词的成本极低,最坏情况下每百万 token 也不足一美分。

云端 API 成本高出数十至数百倍

尽管订阅服务的单个 token 价格通常不透明,但 Anthropic、Google 和 OpenAI 的公开 API 定价可作为价值基准。对比显示,本地运行的成本优势巨大:

模型输入 (每百万 token, USD)输出 (每百万 token, USD)输出 vs RTX 4070 Ti S 上的 Qwen3.6-35B-A3B
PC (Qwen3.6-35B-A3B)0.42¢14.9¢-
Claude Sonnet 5.5$2$1067x
Gemini 4 Argon$2$1067x (introductory pricing)
Gemini 3.1 Pro$2$1281x
Claude Opus 5.5$4$20134x
ChatGPT (chat-latest)$5$30201x
Claude Fable 5.1$10$50336x
GPT-6 Astra$10$50336x

误解根源:功耗并非持续满载

本地 AI 电费被高估的主要原因,在于人们误以为 GPU 在运行时始终维持额定功率。实际上,token 生成更依赖内存带宽而非原始算力。测试中,RTX 4070 Ti Super 在生成时的峰值功耗仅为 144W,读取提示词时为 177W,均远低于其 285W 的额定功率。即便计入 CPU 及系统其他组件的损耗,用户也需让模型连续生成超过 10 小时,其电费才相当于 20 美元的 AI 订阅费用。