星河观品牌网

在本地AI推理领域，RTX 4070 Ti Super常被视为专用硬件。过去，具备自主规划、浏览及执行能力的智能体多依赖昂贵的云服务，但随着Nvidia发布Nemotron 3.5 Bolt，这一格局正在改变。

Nemotron 3.5 Bolt拥有740亿总参数和90亿活跃参数，专为适配24GB显存设计，采用原生2位权重。尽管官方推荐配置要求32GB及以上显存，但通过优化设置，仅凭16GB GPU和32GB系统内存亦可运行。以下是将游戏台式机改造为RTX AI PC的实战路径。

突破显存限制：从加载失败到流畅运行

Nvidia官方提供的GGUF文件中，专家模块采用IQ2_XXS量化，Mamba层采用NVFP4格式，注意力层采用Q8_0格式，整体下载体积略低于24GB，超出RTX 4070 Ti Super的16GB显存上限。此外，旧版llama.cpp因无法处理Bolt架构中专家模块在不同层的剪枝差异，导致加载失败。解决方案是升级至b11927版本，该版本在模型发布当天即加入了对Bolt架构的支持。

为避免手动调整-n-cpu-moe参数的繁琐，启用llama.cpp的--fit选项可自动分配资源。优化后，llama.cpp占用15.7GB显存，其余负载由系统内存承担。此时，Bolt的生成速度提升至每秒22–32个token，提示处理速度达每秒110个token；若所有专家层均由CPU处理，速度则降至每秒19个token。

Bolt内置了辅助模型LiLiCorr，用于预测后续单词以加速解码。但在本测试环境中，LiLiCorr因占用解码专家所需的显存反而拖慢速度，因此被弃用。测试采用64K上下文窗口，采样器设置为温度1.0、top_p 0.95，并结合llama.cpp默认的top_k 40和min_p 0.05。

构建本地智能体：Hermes Agent的深度整合

模型正常运行后，下一步是验证其智能体能力。鉴于Bolt的后训练数据包含Hermes Agent的推理轨迹，选择Hermes作为代理框架顺理成章。配置过程中，指向本地llama.cpp服务器作为自定义端点，启用终端、文件访问、视觉识别、本地Chromium浏览器、记忆、技能及代码执行功能，并保持云API密钥为空，以防止任务意外分流至云端。

为确保数据本地化，删除了Hermes捆绑的58项技能中大部分涉及云端调用的选项，如Claude Code和Codex。

首轮测试中，Bolt需解读一张包含48项硬件监控读数的截图。初次尝试因过度依赖缓存的文件夹列表而误判文件不存在，耗时两分钟搜索文件名，但未出现数值编造现象。在提供完整路径后的第二次运行中，Bolt正确读取了所有数值，包括千位分隔符、0 RPM风扇转速及日志文件名。视觉识别耗时约73秒，全程耗时1分42秒。

复杂任务实测：11分钟完成五步自动化流程

最终测试赋予Bolt一个五步任务：查询本地llama.cpp和Hermes版本、比对GitHub最新版本、挖掘支持Bolt的拉取请求、撰写报告并保存为技能。全程无人工干预，耗时11分44秒。

Bolt首先通过llama-cli读取构建版本号，并从安装文件提取Hermes版本。在适应浏览器操作时，经过约八次工具调用后掌握页面阅读方法，随后从GitHub搜索结果中提取正确链接，识别出拉取请求#30520及其10月15日的合并日期。

在保存技能环节，Bolt初次尝试失败，但随即通过复制现有技能格式自行修复错误。过程中，它曾试图访问Hermes密钥文件，但被安全机制拦截。最终报告存在一处细节误读，错误地将llama.cpp早已支持的架构归功于该拉取请求，但版本号判断准确。此外，Bolt花费一分多钟手动计算字符数以符合限制，显示出一定的机械性。

尽管存在细微瑕疵，Nemotron 3.5 Bolt在16GB显存环境下的表现证明了本地运行74B模型的可行性。它不仅为游戏PC赋予了设备端智能体能力，还能以合理准确度处理复杂的多步骤任务，有效分担桌面工作负担。