Stock LLM Wiki

Scale-out

更新 2026-10-19

定義

Scale-out 是把多台伺服器、多個 rack、多個 computing unit 透過交換器與網路連成更大的 AI cluster。相對於 scale-up 更重視單一 computing unit 內的低延遲互連,scale-out 更重視跨設備、跨 rack、跨機房的網路吞吐、可部署性與成本。

GS 2026 AI 光網路報告指出,從 GB300 NVL72 到 Rubin Ultra NVL576,每 computing unit 的 scale-out dollar content 可提升 16x;光模組、CPO optical engine、銅纜、PCB midplane 都是受惠項。

主要互連方式

場景 距離 主要互連
Rack 內 / row-scale 1-30m AEC、DAC、LPO / TRO、短距 optics
跨 rack / cluster 數十公尺到數百公尺 800G / 1.6T pluggable、OSFP / QSFP-DD、InfiniBand / Ethernet
500m-2km 較長距離 scale-out FR4 / 2xFR4、WDM 微型元件、單模光纖
大型 cluster spine / switch 高 port density CPO switch、pluggable optics 並存

傳輸層:三套 RDMA 傳輸並行(OCP 2026,2026-10)

除了光電互連,scale-out 在協定層也出現開放規格:MRC(OCP MSA,1.0 於 2026,OpenAI 主導)、UEC/UET(1.0 於 2025,clean slate)、MetaRoCE(Meta+AMD,2026-08 公告、2026-10 開源)。共同點是逐封包噴灑與選擇性重傳,解傳統 RoCEv2 單路徑 ECMP 與 go-back-N 的問題;差異在範圍與網內功能。MRC 已在 OpenAI 與 Microsoft 的正式環境跑到 75K GPU,互通性(Microsoft 稱完整互通需 L3)尚未完成。比較表與數據見 技術_MRC。(報告_OCP2026_OpenAI_Broadcom_MRC多路徑可靠連線_20261015、報告_OCP2026_Microsoft_MRC_AI訓練RDMA傳輸_20261015、報告_OCP2026_Meta_AMD_MetaRoCE_20261015,2026-10)

Meta 102.4T 交換器與機櫃級互連極限(OCP 2026,2026-10)

  • IceCube(首代 Icepack):Broadcom Tomahawk6C 102.4T、2OU 混合液冷、64×OSFP(128×800GE),ASIC 與 OSFP 液冷約 85%、其餘氣冷約 15%;合作製造夥伴為 Celestica。blade 最大典型功率 3,820W(全 retimed 5nm DSP DR4)。IceCube-N:Nvidia Spectrum6 102T,100% PCB 走線 212G PAM4,合作夥伴為 Accton(智邦),預覽階段、無日期。(報告_OCP2026_Meta_102.4T乙太網路交換器_20261015,2026-10)
  • 全端簡報稱 IceCube/N-IceCube 系統來自 Celestica 與 Accton,與上述分工一致(IceCube=Celestica、IceCube-N=Accton)。Meta 交換器因而雙源晶片(TH6/Spectrum6)、雙 ODM。(報告_OCP2026_Meta_全端開放AI網路_20261015,2026-10)
  • 可插拔路線與 NPO/CPO 並行:IceCube 是可插拔 OSFP 銅+光,非 NPO/CPO;Meta 自述單機 212G PAM4 銅差分對總長 340m、GTSW 機內 8,192 條光纖,並稱「100T 平台機櫃級互連已達極限」,下一代需 cable backplane、光 backplane 與 L11 光纖管理創新。設計包 2026-09 提交 OCP。
  • FPF(Flattened Planar Fabric):次世代 scale-out,多平面直連加速器、移除 ToR、兩層、NIC 層負載平衡,與 NVIDIA 密切合作;未給年份。MetaRoCE 實測的 8×100G、8 平面為其場景。(報告_OCP2026_Meta_全端開放AI網路_20261015,2026-10)
報告_OCP2026_Meta_102.4T乙太網路交換器_20261015_p2

圖說:IceCube 2OU 交換器外觀照與規格條列(Tomahawk6C、64×OSFP、128×800GE/512×200GE、Celestica 標誌)。(報告_OCP2026_Meta_102.4T乙太網路交換器_20261015,2026-10)

與 TFF / DWDM 的關係

Scale-out 是 技術_薄膜濾光片TFF / 技術_DWDM 較明確的 AI 資料中心應用場景之一。當距離變長、光纖數量與配線密度成為瓶頸,WDM / DWDM 用多波長提高單根光纖容量。

應用 TFF / DWDM 角色
FR4 / 2xFR4 光模組 MUX / DEMUX 合分波,多波長共纖
800G / 1.6T 可插拔 高階帶通 / 邊緣濾光、低插損、低溫漂
Shuffle box / OIN WDM / FBG / 隔離器等被動元件與配線模組
CPO switch scale-out 若採外部光源 / WDM,TFF 可作光源濾鏡;若採 on-chip WDM,離散 TFF 受惠較低

圖解

flowchart LR
    A["Rack內/row-scale<br>1-30m<br>AEC/DAC/LPO-TRO"] --> B["跨rack/cluster<br>數十到數百公尺<br>800G/1.6T pluggable"]
    B --> C["500m-2km<br>FR4/2xFR4/WDM微型元件"]
    C --> D["大型cluster spine/switch<br>CPO switch與pluggable並存"]
    B --> E["TFF/DWDM角色<br>MUX/DEMUX合分波<br>高階濾光低插損低溫漂"]
    C --> F["TFF/DWDM角色<br>Shuffle box/OIN<br>WDM/FBG/隔離器"]
    D --> G["TFF/DWDM角色<br>外部光源/WDM可作濾鏡<br>on-chip WDM受惠較低"]

投資觀察

相關

來源

相關頁面