
自2004年成立以来,Arista Networks(爱思特网络)在交换机领域的表现 arguably 优于其他任何网络设备供应商。这一优势过去成立,至今依然稳固,其在交换技术方面的专长帮助其顺应了云计算繁荣和人工智能浪潮。
随着人工智能规模的扩大,这一模式正在发生变化。在圣何塞举行的开放计算项目(OCP)全球峰会前夕,Arista宣布将其AI网络战略从交换机扩展至机架级别。
Arista推出了一套涵盖规模扩展(scale-up)和规模拓展(scale-out)AI网络的开放式以太网机架级产品组合。该组合建立在由AMD、Arm、Broadcom、d-Matrix、Meta、Microsoft和Qualcomm等大型生态系统参与者组成的合作基础之上。主要发布的产品是Etherlink SU-144,这是一种基于以太网的规模扩展架构,通过ESUN(用于规模扩展的以太网网络)倡议构建,可在单个跳域内连接多达144个加速器(XPUs),或在机架间连接多达1,024个XPUs。
在人工智能时代,网络不再被视为在服务器之间独立传输数据的管道,而是成为紧密集成的机架级背板。其构建质量直接决定了客户能从计算资源中获得多少价值。对于一家以网络作为独立层级为核心身份的公司而言,这是一个重大转变。但网络并未消失于计算之中,相反,计算架构正围绕网络进行构建。
Arista的发布内容
规模扩展部分提供三种物理形态,每种针对不同的用例。在分析师简报会上,Arista负责AI系统和网络的高级主管Vijay Vusirikala详细介绍了每一种设计。
- 正交机箱(Orthogonal chassis):服务器位于前方,全高交换机卡位于后方并直接连接,无需背板或线缆,利用了Arista模块化机箱的传统优势。它支持100至400千瓦的液冷散热。这是为专注于需要最大规模扩展域的训练工作量的厂商设计的方案。
- 有线背板(Cabled backplane):交换机位于机架中间,通过铜缆模块连接到服务器。虽然密度较低但更易维护,允许运营商在机架内和机架间连接之间分配带宽。
- 跨机架(Cross-rack):专用交换机机架连接独立的加速器机架。这是最灵活的设计,也是上市最快的方案,因为它避免了漫长的联合工程周期,但会增加互连成本和功耗。“铜缆的传输距离非常有限,”Vusirikala表示,因此超过两个机架的距离就需要使用光器件。
在规模拓展方面,Arista提供了基于其7060EX7交换机的8口、12口和16口液冷机架参考设计。每个配置提供每秒102.4太比特的吞吐量,并配有光纤配线架、冷却歧管、带有主动泄漏检测的滴水盘、机架管理控制器以及带电池备份的电源排。集成合作伙伴负责组装、测试和交付配置好的机架。该网络fabric支持超以太网联盟(UEC)规范、多路径可靠连接(MRC)弹性、多平面路由以及动态和集群负载均衡。
客户可以在通用的Netdi基础架构上运行Arista EOS或开放式网络操作系统。Arista还指出,包括其XPO可插拔光模块以及开放式共封装和近封装光器件在内的下一代光器件,将把机架容量从每秒1.6拍比特提升至6.5拍比特,从而将数据中心占地面积减少近一半。
Andy Bechtolsheim将在OCP发表演讲
OCP全球峰会将于10月12日至15日在圣何塞举行,Arista将在展位展示一个完全组装好的液冷机架。这偏离了Arista展位传统的工程设计故事,重点较少关注交换技术,而更多关注歧管、泄漏处理、光纤管理和电力供应。根据Arista的OCP活动页面显示,联合创始人兼行业远见者Andy Bechtolsheim将于10月13日下午1点发表题为“千兆瓦AI数据中心时代”的演讲。
这对Arista意味着什么
从Arista的发布中得出了三个关键结论。首先,Arista正瞄准其尚未占据主导地位的AI网络领域。它在规模拓展方面处于领先地位,并正在推进跨机架连接,但在规模扩展领域,市场份额仍主要由Nvidia的NVLink主导。Arista坦率地表示,对于基于Nvidia的系统而言,这种情况短期内不会改变。“由于这是专有技术,目前没有近期机会,”Vusirikala告诉我。
机会在于非Nvidia加速器,合作伙伴名单包括AMD、Microsoft的Maia、Qualcomm和d-Matrix,这表明该市场真实存在。Arista押注异构计算将成为常态。这对Arista来说是明智之举,因为在不试图颠覆Nvidia看似不可动摇的业务的情况下,每个供应商都有充足的机会。
其次,Arista主张在所有三种网络fabric中使用单一的网络堆栈。这些网络历史上是相互独立的。无论底层硅片是浅缓冲区、深缓冲区还是低延迟,Arista都希望使用相同的EOS、遥测和诊断工具。这是一种以网络为中心的视角,而非附加计算的视角,这也是Arista最强的论点,因为故障隔离和预测性维护现在延伸至集群中最敏感的性能部分。
第三,这是一项参考架构策略,而非SKU(库存单位)发布,这改变了基础设施的交付方式。Arista提供交换机、软件、设计和验证套件,而合作伙伴负责机架集成。
在简报期间,Arista高级产品线经理Arihant Jain解释了这一点的重要性。一个16口交换机机架配置可能涉及2,000根光纤,现场布线容易引发弯曲半径违规、接线错误、信号完整性问题和死光模块。“整个旧的备件或现场组装的方法必须改变,”他说。机架需要在上游进行集成和测试,然后整体部署到位。液冷迫使这一变化发生,因为交换机、歧管和泄漏响应必须共同设计。
检测到泄漏时,是关闭交换机还是整个机架?这一决策是否与楼宇管理系统挂钩?这些过去被认为是设施问题,现在则是网络问题。
需要注意的是,Nvidia的一站式解决方案仍然是Arista最大的障碍,并在某种程度上削弱了其以太网优势。当客户购买完整系统时,以太网并不总是首选。开放式设计在选择性和经济性上获胜,但它们需要加速器供应商、机架集成商和冷却供应商之间的协调。
在该生态系统中的执行力将决定这些方案落地的速度。早期买家将是超大规模云服务商、新云服务商和AI基础设施提供商。大多数企业将通过这些提供商使用这些架构,而不是直接部署,至少在目前是这样。
对网络工程师的建议
- 现在学习液冷技术:Arista预计明年其当前100太比特交换机的空气冷却和液冷部署比例约为50-50。Vusirikala表示,在每秒200太比特的速率下,液冷实际上已成为强制要求。仅去除风扇就能使交换机功耗降低约10%。懂得以歧管、泄漏检测和热设计为专长的工程师将受到追捧。
- 以机架为单位思考,而非单机箱:当机架成为产品时,验收测试、备件管理和故障排除都会发生变化。请求机架级别的验证数据。
- 精通规模扩展:规模扩展曾是服务器团队的问题。随着以太网进入该领域,它变成了网络团队的问题。研究ESUN、UEC以及链路级重试和基于信用的流量控制等功能。
- 保持光器件选项的开放性:Arista表示其客户在下一代可插拔光模块和开放式CPO(共封装光学)之间大致平分。根据可维护性、功耗和运营模型做出决定。
- 保护运营一致性:在规模扩展、规模拓展和跨机架连接中采用统一的运营模式,其价值超过微小的性能提升。
- 质疑你的AI提供商:如果你从新云服务商或云提供商处消费AI容量,询问其规模扩展域是如何构建的,以及故障机架隔离的速度有多快。这会影响你付费使用的加速器时间。
关于规模拓展中InfiniBand与以太网的争论已基本尘埃落定。Arista押注同样的经济效应也适用于下一层,即机架内部。竞争不再是关于端口速度,而是关于谁能最快部署经过验证的机架并使昂贵的加速器投入工作。随着加速器的多样化,将所有事物连接在一起的网络成为了平台,而这正是Arista希望立足的地方。