本地人工智能前景诱人：安装精美界面，加载开源模型，即可摆脱月度订阅束缚。然而，取代强大的云端助手，绝非仅让本地聊天机器人运行起来那么简单。
基准测试胜利不等于“足够好”
断言本地模型无用有失公允。OpenAI 表示，gpt-oss-20b 可在 16GB 内存下运行，且在常见基准测试中表现出与 o3-mini 相当的结果。这证明其具备实质功能，而非仅是美化版的自动补全演示。
但需注意，基准测试仅反映特定模型在特定评估中的表现，无法证明普通笔记本或台式机可替代领先托管助手的每一项能力。核心问题不在于模型能否给出令人印象深刻的回答，而在于其能否以足够的上下文和可接受的延迟，一致地处理复杂任务。
此外，运行环境（本地或云端）不改变模型的智能本质。实际限制取决于硬件支持的模型类型及妥协条件。训练质量和模型设计决定了性能上限，而硬件则决定了你能触及哪一层次的性能。
内存：被忽视的隐形门槛
以 Ollama 的 Llama 3.3 70B Q4_K_M 版本为例，其下载大小达 43GB。即便拥有 32GB 显存、标价 1,999 美元的英伟达 RTX 5090，在不计算额外工作内存的情况下，也无法将模型权重完全存入显存。且该显卡往往难以原价购入。
模型文件并非唯一的内存消耗源。长对话和文档需要额外内存存储注意力缓存，Ollama 明确指出，增加上下文长度会显著提升内存需求。实用的测试场景往往涉及大型代码库调查或多份长篇文档比对，加载模型仅是入场券，保持足够相关材料可用则是另一笔巨大开销。模型架构支持的上下文窗口，并不等同于你的计算机能负担得起的使用容量。
量化与卸载：技巧而非魔法
量化通过降低精度存储权重来减少内存占用，精心设置的量化可保留大部分原始质量，但激进压缩会带来准确性妥协。Flash Attention 和对上下文缓存的量化进一步降低了内存开销，这些均为重要的工程成就。
然而，适应可用内存只是挑战的一半。当模型超出显存时，Llama.cpp 支持在 CPU 和 GPU 间分割推理过程。虽扩大了可能性，但每秒令牌数（tokens-per-second）等性能指标将大幅受损。Ollama 亦建议为避免性能下降，应尽量避免 CPU 卸载。
用户面临的妥协包括：接受更小模型、更激进压缩、缩短上下文或容忍更低处理速度。软件优化无法消除固定硬件上的容量与速度上限。
GPU 仅是首付：电源、散热与内存成本
高效硬件并不意味着低成本。OpenAI 设计的 gpt-oss-120b 旨在 80GB GPU 上运行，其混合专家（MoE）设计每次令牌仅激活 51 亿参数。虽减少了计算量，但模型其余部分仍需存储空间。
除 GPU 外，英伟达为 RTX 5090 参考配置指定了 1,000W 的系统功耗要求，这可能迫使用户升级电源。此外，高昂的 DDR5 内存价格、散热硬件及机箱空间需求，均构成了完整的成本账单。
软件免费，硬件昂贵
本地人工智能值得期待，对于能以合理速度处理特定任务的模型，其隐私、控制和离线访问优势足以证明性能妥协的合理性。小模型在特定工作负载下是成功工具，而非安慰奖。
但承诺应更为务实：免费软件助你挖掘机器潜力，却不赋予服务器级资源权限。在可行硬件变得负担得起且易于获取之前，本地 AI 替代方案的最大障碍并非软件缺失，而是高昂的硬件投入成本。