
随着人工智能支出重心从大型训练集群转向建设更快的中小型数据中心,模块化设施正成为推理工作负载的首选载体。当前,电力供应、冷却系统及内存供给对生成Token效率的影响,已不亚于芯片本身的原始算力。
专注于推理芯片的Positron AI Inc.正试图抓住这一市场转折。今年9月,该公司以50亿美元估值完成8.75亿美元融资。其核心策略是构建基于通用内存而非稀缺高带宽内存(HBM)的推理设备。Positron销售与业务发展负责人Cameron McCaskill指出,推理已超越训练,成为驱动基础设施采购决策的核心力量。
“目前,运行在AI基础设施上的工作负载中,约三分之二为推理任务,三分之一为训练。而在2023年,这一比例约为85%的训练和15%的推理。”McCaskill表示,这种结构性变化直接影响了经济决策与基础设施建设方向。
模块化数据中心契合低功耗推理需求
Positron的首代Atlas服务器基于可编程芯片运行,甲骨文公司(Oracle Corp.)将于本季度在其云端部署约340台该型服务器。此外,一家新兴云提供商也已签约使用Atlas,并承诺后续部署Positron计划于明年年初流片的自研Titan芯片。
McCaskill解释称,行业主流厂商普遍依赖供应紧张且昂贵的HBM,而Positron选择通用内存,不仅规避了供应链瓶颈,还将功耗控制在较低水平。单台Positron服务器功耗约为4,500瓦,整套Titan服务器机架功耗可控制在40千瓦以内,足以适应风冷机房环境。
这种低功耗、小占地特征,使其能够灵活部署在拥有廉价电力且监管障碍较少的小型场所。McCaskill透露,许多推理服务提供商的目标是将“从获取土地和电力到产生可变现Token”的周期压缩至90至120天。结合Positron的技术方案,快速部署的模块化数据中心(如0.5兆瓦至2.5兆瓦设施)成为实现这一目标的理想选择。