
Supermicro SYS-E403-14B-FRN2T
SYS-E403-14B-FRN2T
144C Xeon / 2TB DDR5 / full-height GPU
将推理部署在现场而非数据中心,只有两个站得住脚的理由,且都不是出于偏好:或是往返时延无法满足模型所控制对象的要求,或是数据不允许离开场地。这两者都属于约束条件,且都无法通过提升链路速度来解决。
当现场没有机柜、且工具链要求 x86 架构时,E403 是合适的选择。它在单颗最高 144 核的至强处理器平台上支持一张全高显卡与最高 2TB DDR5 内存,机箱高度 117 毫米,重 8 公斤,可放置于设备间或后勤办公区的层架上,而这正是此类部署通常所处的环境。
当约束来自模型而非工具链时,GB10 机型在尺寸相近的机箱内提供 128GB 一致性统一内存与最高 1 PFLOP 的 FP4 算力。EdgeXpert 正是面向这一场景设计的产品,功耗 240W。需要注意的事项与实验室场景相同:GB10 采用 Arm 架构,因此任何以 x86 二进制形式交付的组件都需要在下单之前确认,而非之后。
当现场确实具备机柜条件时,CG290 是进一步的选择:单路 2U 机型,最多支持四块加速卡,足以承载实际业务负载,同时无需现场提供数据中心级供电。而当现场没有光纤时,Starlink 终端是让上述部署能够向总部回传数据的链路。这一组合在远端站点方案中有更详细的说明。
推理在数据产生的现场执行,这是唯一能够真正满足数据驻留要求的设计,而非绕开该要求的变通方案。
高 117 毫米、重 8 公斤的机箱可直接放置于设备间层架上,无需为安置一台服务器而启动场地改造项目。
当现场具备机柜条件时,单路 2U 机型可支持四块加速卡,且无需现场提供数据中心级供电。

SYS-E403-14B-FRN2T
144C Xeon / 2TB DDR5 / full-height GPU

MS-C931
128GB LPDDR5X / 1 PFLOP FP4 / Edge ready

ZGX Nano G1n
GB10 Superchip / 128GB unified / 150mm chassis

S3063G290RAU4
4x PCIe accelerators / 2U / single socket

ST-PERFORMANCE
140 degree FOV / IP69K / 270 kph survivable