星河观品牌网

一位律师利用八块二手 Nvidia Tesla V100 数据中心 GPU，成功搭建了一台私有 AI 服务器，旨在确保案件文件处理全程本地化，无需上传云端。该系统目前运行开源的 DeepSeek V4.1 Flash 模型，所有专家模块均加载至显存，代码生成速度最高可达每秒 215 个 token，法律文本生成速度约为每秒 118 个 token。

硬件架构与成本

该服务器核心由八张 Tesla V100-SXM2-32GB 显卡组成，每张配备 32GB HBM2 显存，带宽为 900 GB/s。显卡通过 SXM2 接口连接至两块四卡主板，单板内四卡通过 NVLink 互联，实现 128GB 高速显存池；两块主板之间则通过 PCIe 通信。此外，系统还配备了四块 PEX 交换机及多条 SlimSAS 线缆。

在成本方面，建造者购入四卡主板时单价约为 2,400 美元，当时二手 V100 SXM2 显卡价格约为 400 美元/张。值得注意的是，目前 eBay 上同款显卡价格已涨至约 900 美元，且呈上升趋势。其他组件包括一块搭载 12 核 AMD Threadripper Pro 3945WX CPU 的 Gigabyte 主板、8 条 32GB DDR4 RDIMM 内存，以及两台总功率 2,800W 的电源。

模型部署与性能优化

DeepSeek V4.1 Flash 模型在此配置下被压缩至主要为 2-bit，权重总计 248.8GB，完全驻留于 GPU 显存中；另有约 110GB 的 Engram 查找表保留在系统常规 RAM 中。数据显示，从 RAM 获取数据的延迟约为每步 0.12 毫秒，对整体速度影响微乎其微。

为优化性能，模型的前半部分层（0-19）在第一块主板上运行，后半部分（20-39）在第二块主板上运行。这种分配方式避免了将每一层拆分到全部八张卡上因 PCIe 跳接导致的延迟“断崖式下跌”。测试表明，该配置下代码生成速度最快达 215 tokens/s，法律写作场景下达 118 tokens/s。对于长文档，模型以约每秒 2,200 个 token 的速度读取提示词，在 128K token 长度下，首个 token 生成耗时约一分钟。

注：建造者测量数据，11月5日；贪婪解码，输出 1,024 tokens，两次运行的平均值。

稳定性挑战与解决方案

搭建过程并非一帆风顺。主机曾因 PCIe 链路致命错误重置两次，原因疑似主板在负载激增期间停止响应，当时显卡功耗达 192-232 W，超过了 180 W 的限制。在限制时钟频率并更换带有烧痕的主板后，问题解决。目前每张卡功耗限制在 150 W（额定 300 W 的一半），图形时钟限制在 1522 MHz。测试显示，200 W 的限制并未带来明显性能提升。

此外，系统曾出现不可纠正的 ECC 内存错误，通过将内存频率从 DDR4-3200 降至 DDR4-2666 得以解决。目前仍有一张 GPU 以 x4 而非 x8 模式连接，建造者计划重新插拔修复。

实际应用与未来规划

该服务器目前已投入日常使用，用于案件文件的初筛、事实提取、总结及常规文档起草。所有输出均经过人工审查，以确保准确性并保护客户隐私。系统已接入 RAG 数据库和工具调用，操作员可通过 SSH 在类 Discord 界面进行驱动。

据估算，该律师现有 50-60% 的 LLM 工作流已可在本地运行，显著降低了对云端 API 的依赖及成本。尽管速度并未超越前沿云端模型，但数据安全性得到保障。未来，建造者计划实现同时处理两到三个请求的功能，该功能已在测试系统中验证，但尚未应用于生产环境。鉴于 Nvidia R580 驱动分支是最后一个支持 Volta 架构的版本，该系统也面临长期的软件维护挑战。