Strata是一款免费开源工具，旨在让普通游戏电脑也能流畅运行参数量高达1250亿的大型AI模型。该工具支持NVIDIA或AMD显卡（需12GB及以上显存），兼容Windows和Linux系统。其核心能力在于能在本地部署通常需服务器支持的Qwen3.8-Flash-Next模型，具备聊天、代码编写、图像读取及与应用代理协作的能力，且所有数据均保留在本地，确保隐私安全。

性能表现：速度与效率

在测试中，Strata展现了惊人的处理速度。一个Token约等于四分之三个单词。以下是两款典型配置下的性能数据：

NVIDIA平台测试

配置：RTX 5070 (12 GB), Ryzen 5 7600, 64 GB RAM

  • Q2_0量化：生成速度94 tokens/s，读取速度2,650 tokens/s
  • IQ2_XS量化：生成速度79 tokens/s，读取速度2,090 tokens/s
  • IQ3_S量化：生成速度53 tokens/s，读取速度1,620 tokens/s
  • Coder专用：生成速度55 tokens/s，读取速度2,180 tokens/s

AMD平台测试

配置：RX 9070 XT (16 GB), Ryzen 9 3900X, 47 GB RAM

  • Q2_0量化：生成速度60 tokens/s，读取速度1,160 tokens/s
  • IQ2_XS量化：生成速度52 tokens/s，读取速度1,110 tokens/s
  • Coder专用：生成速度44 tokens/s，读取速度1,420 tokens/s

注：更大显存可带来更高速度，如RTX 3090 (24 GB)生成速度可达100-140 tokens/s。具体性能受量化规格影响，较小规格速度更快，较大规格智能程度略高。

硬件需求与兼容性

Strata通过智能分配负载，使模型能在消费级硬件上运行。基本需求如下：

  • 显卡：NVIDIA GeForce RTX 20/30/40/50系列，或AMD Radeon RX 6800/6900/7000/9000系列及AI PRO R9700。需12 GB或更多显存。
  • 内存：建议32 GB或以上。64 GB内存可运行所有模型规格。
  • 硬盘：约80 GB可用空间，强烈建议使用SSD以加快首次启动速度。
  • 系统：Windows 10/11或Linux，需安装最新显卡驱动。

此外，Strata还支持多GPU共享模型。对于旧款显卡（如Tesla P40/V100、GTX 10系列等）及Intel Arc显卡（Linux下源码构建），社区也提供了相应的支持方案。

安装与使用指南

Strata提供自动化安装流程，用户可选择让AI助手配置或手动安装。

快速启动

Windows用户：下载并解压后，双击START-HERE.bat。
Linux用户：在文件夹中运行./setup.sh。

安装程序会自动识别硬件，引导用户选择模型规格、上下文窗口及是否启用图像功能。随后将下载约70 GB的模型文件并启动服务。浏览器会自动打开http://127.0.0.1:8080访问应用界面。

注意：首次启动时，电脑可能会因加载35-55 GB数据到内存而变慢或无响应1-3分钟，属正常现象，请勿关闭窗口。

模型选择建议

  • 32 GB内存：推荐Coder版本，专为代码优化，资源占用低。
  • 48 GB内存：推荐IQ2_XS或Q2_0，平衡速度与性能。
  • 64 GB内存：推荐IQ2_XS，也可尝试IQ3_S以获得更佳效果。
  • 96 GB+内存：推荐IQ3_S或Unsloth UD-IQ4_XS，可兼顾高性能与其他应用运行。

集成开发环境

Strata兼容OpenAI API标准。在Coding Agent（如Claude Code、Cursor等）中，将Base URL设置为http://127.0.0.1:8080/v1即可接入。支持Anthropic API格式的应用可使用http://127.0.0.1:8080/v1/messages。

技术原理：如何突破显存限制？

Strata的核心创新在于全PC范围负载分担。它将模型视为由24,576名小型专家组成的团队，每次仅激活其中10名。通过以下策略突破显存瓶颈：

  • 分级存储：最常用的专家驻留显卡显存，全部专家数据载入系统内存，大型查找表存储于SSD。
  • 预测与验证：小模型快速预测后续词汇，大模型一次性验证，使推理速度提升1.6-1.8倍。
  • 分块读取：长文本以最大8,192 Token为大块读取，速度超1,000 tokens/s。

常见问题与支持

  • 启动卡死：首次加载模型属正常现象，若超过10分钟无响应，请重启并关闭其他占用内存的程序。
  • 下载中断：重新运行安装脚本即可断点续传。
  • 速度过慢：检查空闲内存是否充足，或切换至更小的量化规格（如Q2_0）。

Strata基于MIT许可证开源，模型源自Qwen团队，压缩技术得益于ISTA-DASLab、UkisAI和Unsloth等社区贡献。如需技术支持或报告安全问题，请参阅项目文档中的TROUBLESHOOTING.md和SECURITY.md。