四台Mac Studio合体变身AI集群 1.5TB内存、硬件成本近30万
摘要：
近日知名工程师Jeff Geerling完成了一项挑战，利用macOS 26.2最新的系统特性，将四台M3 Ultra Mac Studio成功合体，打造出一台拥有1.5TB统一内存的AI计算集群。这次集群成功的关键在于macOS 26.2引入的一项核心功能RDMA over Thunderbolt 5，通过Thunderbolt 5接口，允许一台Mac直接读取另一台的内存，无需CPU干预。
在Geekbench 6的多核测试中，该集群轻松超越了Dell Pro Max with GB10和Framework Desktop，双精度浮点数性能更是达到了1TFLOPS以上，而闲置功耗低于10W。
在AI推理方面，单机运行Llama 3.2 3B模型时，每秒可处理154.6个token；在运行大型Llama 3.1 70B模型时，每秒可维持14.1个token，这两个测试的性能都远超其他对手。
此外，在尝试运行DeepSeek R1 671B超大型模型时，其他系统均无法正常运行，而Mac Studio 集群凭借其1.5TB的统一内存，完成了这一挑战。
RDMA over Thunderbolt 5在这个AI集群中发挥了关键作用，在启用RDMA后，内存访问延迟从TCP的300微秒降至50微秒以下。
在使用exo系统测试Qwen3 235B时，四台设备每秒可处理31.9个token，比llama.cpp TCP快了一倍以上；DeepSeek V3.1更是达到了每秒32.5个token。
虽然RDMA表现出色，但在高负荷时偶尔会出现系统崩溃的情况
另外值得注意的是，由Mac Studio组成的AI集群总硬件成本约为40000美元（约合人民币28万元），相比其他两个平台，这一价格更贵。
