memo_CPO_ScaleUp光互連_20260618

CPO 2026/06/18

Key Takeaway

• 為何需要 Scale-Up CPO？

• 受限於跨機櫃網路的通訊協議延遲與頻寬，無法有效支援跨機櫃的張量平行 (TP) 計算，導致算力呈現「機櫃孤島」狀態。

• 當單通道頻寬邁向 200G/lane 以上時，銅線傳輸距離急速縮短。即使使用主動電纜 (AEC) 也難以維持機櫃內連線，且會衍生龐大功耗，喪失擴展規模的可行性。

• 技術架構與優勢

• Scale-Up CPO 將內部互連光學化，能打破實體機櫃邊界，讓跨機櫃的 xPU 享有極大頻寬與極低延遲，徹底釋放 TP 運算的規模上限。

• 相較於 Scale-Out，Scale-Up CPO 對 ELS/FAU/OE 的用量預計將有倍數增長（粗估達五倍）。

• 風險評估與技術優化

• 製造良率關鍵：目前 GC 耦合的 FAU 是製造瓶頸之一。由於後端封裝極易導致光纖斷裂，可替換的 D-FAU (Detachable FAU) 被視為拉升良率與降低沉沒成本的關鍵。

• 組裝工藝：目前高度依賴主動對準 (AA)。未來趨勢是導入微光學元件來放寬 FAU 的製作公差，並輔以 AA 進行最佳化耦合，以確保光學損耗降至最低。

• 供應鏈重組： CPO OE 中的 E/PIC pair 將引入新的先進封裝與測試需求，製造端將引入 Fab 及 OSAT 加入競爭。

• 投資價值： ELS、GC 與 FAU 已成為 Scale-Up CPO 解決方案的標準配備。

• OCS 的崛起： 引入 OCS (光電路交換) 取代傳統電子交換機，可突破傳輸延遲與能耗瓶頸。鑑於 Google TPU 架構成功結合 OCS 支撐了 Gemini 模型，未來 OCS 在 AI 資料中心的普及程度高度可期。

• 背景與主軸

• 主題聚焦在「AI 資料中心 scale-up 的核心挑戰」以及「CPO 導入的必然性」，並以 NVIDIA 與 Corning 公開架構作為主要參考。

• 論壇上常提到的 scale‑up 架構與今天談的 CPO scale‑up 略有差異，差異在目前的屬於過渡性產品差異，長期趨勢仍是將 Optical Engine 放在 GPU / Switch ASIC 旁邊以追求最高頻寬與最低延遲。

• Roadmap

• NVIDIA：

• 2026 年的 Vera Rubin NVL576 使用 optical scale‑up 架構，但官方尚未明言是 CPO 還是 pluggable transceiver 形式。

• 目前來看是 NVSwitch 內含 OE，單一 rack 內 GPU 與 in-rack 通訊用電訊號連接，跨 rack 時則透過帶有 CPOE 的 NVSwitch 實現 Optical Scale-up。

• 2028 年的 Rosa Feynman NVL1152  則使用 CPO-based optical scale‑up。

• Corning：

• 光纖從 compute tray 出來，經過上面被動插板，再集中到 switch rack，由 switch rack 解碼後再導向其他 rack。

• 這個設計與 CPO-based optical scale‑up 架構高度吻合，因此被視為未來 scale‑up 的代表性實作方向之一。

1. AI 資料中心互聯的結構性瓶頸

2. 模型規模 vs 硬體效能：

3. 大型模型參數與運算需求約每兩年成長 100 倍。

4. 單顆硬體效能約每兩年只提升約 3.3 倍。

5. 代表要支撐 100 倍 workload，必須堆疊約 30 倍以上的硬體數量，這些硬體需要是互聯的。

6. 互聯頻寬成長落後：

7. 現在可用的互聯頻寬成長斜率，比硬體效能斜率更低，使 interconnect 成為 AI data center 擴張的關鍵瓶頸。

8. 估算上每兩年必須增加約 70 倍互聯頻寬，才能跟上模型與硬體的需求。

9. 因此產業開始導入：

10. CPO / LPO

11. 主動式電纜（ACC/AEC）

12. NVIDIA 架構下的三種互聯維度

13. Scale‑up（intra‑rack）：

14. 連接距離約 2–5 公尺，多在同一機櫃內。

15. 現行主要用電氣 NVLink + NVSwitch，最多約 72 顆 GPU。

16. 頻寬級距可到約 7.2 Tbps，延遲最低（sub‑µs 級）。

17. Scale‑out（inter‑rack in same cluster）：

18. 一個 rack 與 cluster 內其他 rack 的連線，例如第 1 櫃與第 8 櫃。

19. 範圍約可達 500 顆 GPU（如 72×8）。

20. 頻寬大致在 800 Gbps 等級，延遲在數 µs。

21. Scale‑across（跨 cluster / campus）：

22. 連接不同 cluster 或不同機房區域，規模可到數萬顆 GPU。

23. 頻寬約 100 Gbps，延遲 ms 級。

24. 實務觀察：

25. 目前多數 AI 工作負載盡量被限制在單一 rack 內運行，以最大化效能與效率。

26. 一旦頻繁跨 rack 協作，因頻寬下降與延遲提高，整體利用率會被稀釋。

27. 產業趨勢是盡可能擴大 scale‑up 範圍內可協作的 XPU 數量，讓頻寬足夠多且延遲降低。

28. 傳輸過程

29. 目前架構：

30. rack 內：

31. GPU → NVSwitch 透過 NVLink（電訊號）。

32. 由 NVSwitch 進行 routing，完成 intra‑rack 通訊。

33. 這條路的頻寬約 7.2 TBps，延遲相對很低。

34. 跨 rack：

35. GPU 經 PCIe 接上 NIC 板子 → NIC 上插 800G transceiver 把電訊號轉光。

36. 光進 TOR switch tray，再做 O/E/O，進行 routing 之後再轉回光。

37. 目標 rack 的 compute tray 外側再經過 transceiver 做光電轉換，最後回到 GPU。

38. 問題：

39. 頻寬從 7.2T 掉到 0.8T，約 9 倍落差。

40. 路徑上有多次 O/E/O 轉換，累積 latency，導致效率明顯變差。

41. 導入 CPO / CPOE（scale‑up + scale‑out 都光學化）：

42. GPU 旁邊直接擺 OE，短距離電訊號進 OE 後立刻轉成光訊號。

43. 光訊號進入內含 OE 的 NVSwitch，由 switch ASIC 解碼後，再透過另一組 OE 轉成光送出。
44. 另一 rack 的 GPU 旁 OE 收到光後再轉回電。

45. 優點：

46. 大幅減少 O/E/O 次數。

47. 頻寬可以和 scale‑up 電架構接近，取決於搭配的 OE 數量與規格。
48. latency 可從十幾、二十 µs 級降到數百 ns，接近電 scale‑up 的水準。

1. 纜線與基板

2. DAC（無主動元件）在 100G 時大約可跑 3m，升到 200G、400G 後距離顯著縮短（例如 1.5–2m）。

3. ACC / AEC 加入主動 IC 做訊號整形後，可略微拉長距離，但頻寬越高，實際可用距離仍受限於高頻損耗（頂多拉到 3m）。

4. 功耗部分，電纜與主動 IC 相對仍優於傳統光模組。

5. 光方案（transceiver / CPO）：

6. 光在纖維中的傳輸幾乎不耗損，距離遠、頻寬高。

7. 限制在於 modulator / driver 及整體光學鏈路損耗。
8. 傳統 pluggable transceiver 的能耗約在 10–15 pJ/bit 等級，多次 O/E/O 會疊加。
9. 把 OE 與 ASIC 儘可能靠近，移除多餘的 SerDes / 驅動以及高功耗模組。
10. 目標是把「光互聯的每 bit 能耗」壓到接近電互聯，接近 AEC 等級。

11. 2028 年才會量產，且前期轉量產都有良率變低的情況。

12. 基板：

13. 以前 400G SR 用的 transceiver die 是 VCL，用的是 GaAs 基板。

14. 現在EML 800G DRFR 是用 InP 基板，所以需求會變更高。

1. 合作夥伴

2. NVIDIA：

3. 收購了 Mellanox 做 switch ASIC 平台。

4. 找 Ayar Labs 用 MRM 架構做 OE 放在 ASIC 旁。

5. Qualcomm：

6. 找 Lightmatter 做 2D optical interposer，讓 Qualcomm 的 IC 可直接放在 Lightmatter 的 optical interposer 上。

7. 光訊號用二維方式做 signal escape，訊號也透過二維方式實現。

8. AMD：

9. 也在做自己的 OE，找台灣高雄一家 PIC design house 設計 PIC。

10. 其他看簡報第 16 頁

11. CPO 對比其他光學元件用量

12. Scale-up CPO 架構所多出的用量：

13. 每顆 GPU 搭配兩顆 OE，則 GPU : OE 比例約為 1 : 2。

14. 每顆 OE 對應一個 FAU，故 GPU : FAU 也是 1 : 2。
15. 外部光源（ELS）方面，約一個 ELS 可服務四顆 OE，即 GPU : ELS 約 1 : 0.5。

16. 若一個 compute tray 放 4 顆 GPU，則 OE/FAU/ELS 數量就為 8/8/2 個。

17. 純 scale‑out vs scale‑up+scale‑out：

18. 若只在最上層 TOR 使用 CPO（純 scale‑out），整個 rack 內光學元件數量有限。

19. 一旦在 rack 內的 compute tray 與 switch tray 都導入 CPOE，光學元件用量大幅增加。

20. 從純 scale‑out 切換到「scale‑up + scale‑out 都用 CPO」，光學元件總用量大約可放大 5 倍，對應到市場模型中 scale‑up CPO 量約為 scale‑out 的 3 倍左右。

21. 光纖耦合方式：

22. 主流方案逐步轉向 grating coupler（GC），因製程與組裝容差優於 edge coupler。

23. Broadcom 早期偏 edge coupler，但市場資訊顯示其也在導入類似 NVIDIA 路線，往 GC 方向調整。

24. ELS（External Laser Source）：

25. 多數 CPOE 解決方案使用外置雷射（ELS），由 pluggable 模組提供單色或多波長 CW laser，經保偏光纖送入 OE 進行調變。

26. 少數玩家（如 Ranovus）選擇在模組內自帶雷射，但大方向仍以 ELS 為主流。

1. 供應鏈與製程流程

2. CPO switch / server 供應鏈變化：

3. 傳統：switch server 製造商買 switch ASIC + PCB，自行組成 server，終端客戶再向 transceiver 廠買光模組。

4. CPO 架構：

5. PICS（SiPh 收發器）被拆到 switch ASIC 旁，變成 OE module（EIC+PIC+FAU）。

6. ODM 直接向具備 CPOE 的供應商購買 OE module 與 switch ASIC，整合成具備電光功能的 switch server。

7. 終端客戶改向 ELS 廠商購買雷射模組，插上才有完整光路。

8. OE module 流程：

9. EIC：先以先進製程（如 7nm）製作電晶片。

10. PIC：以較成熟製程（如 65nm）製作光子晶片。
11. 兩片 wafer 經挑選後（insertion test 1）做 hybrid bonding，將 EIC die 貼在 PIC wafer 上變成 初步 OE。
12. 然後 wafer‑level 測試（insertion test 2）：以光纖導入 CW laser，檢查 OE 是否能正確調製與接收，常用儀器如 Keysight、Teledyne 子公司、InZiv 等。

13. 之後切割成一顆顆 EPIC pair，再交由封裝廠做 FAU 對準與組裝（active alignment），形成完整 OE module。

14. ELS 供應鏈：

15. 上游：InP 基板與長 epi，製作 CW‑DFB laser die。

16. 中游：雷射晶片廠負責 chip 製程與封裝，組成 ELS 模組。
17. 下游：提供單波長或多波長 CW 光源給 CPOE 使用。
18. 目前可量產的 CW-DFB 功率約 100 mW 已有多家供應商；200–400 mW 多波長方案仍在樣品與可靠度驗證階段（幾千小時）。

1. FAU、detachable 架構與 active alignment 挑戰

2. detachable vs non‑detachable：

3. 若在組裝階段就把 FAU 固定在 OE 上，一旦運送或後段製程造成光纖損傷，即便 OE 本身正常，整個模組也要報廢，良率風險高。

4. detachable 架構是在 OE 上先做 receptacle（母座），FAU 以可插拔形式存在（senko），便於維修與替換。
5. detach 方案的難點在金屬件精度與光學膠固化，金屬件會影響 UV 膠照射與固化均勻度，若膠水未完全固化，會導致對準漂移與可靠度問題。

• 耦合損耗與對準精度：

• 單次耦合（光進 PIC 或 PIC 出光）的目標損耗約 1.5–1.6 dB。

• 模擬與實測顯示，要維持此損耗水準，組裝精度必須在 ±5 µm 以內。
• 但實務上是一整排 multi fiber（兩排十幾根），FAU 本身有誤差，對位也有誤差，純被動對準近乎「閉眼裝配」，所以要用主動式對準。
• 因此主流做法必須採用 active alignment（AA），透過 loop back 線路與光強度回授，在 XYZ 軸調整到最大耦合點再固定。

• Microlens：

• NVIDIA cube 架構中會加 microlens，目的是擴大 grating coupler 的對位容差，讓 FAU 自身的誤差可以被光學設計吸收（采鈺在做）。

• 一維（CPO） vs 二維（optical interposer）解法

• 一維 CPO：

• OE 放在 ASIC 邊緣，signal escape 寬度受到 ASIC 邊長限制。

• channel density 的上限與 ASIC 物理尺寸綁定。

• 二維 optical interposer（Lightmatter / Celestial 類型）：

• 光學層放在 XPU 下方，以 2D 形式做 signal escape。

• 可大幅增加可用通道數與拓樸彈性。

• 調變器選擇與熱問題：

• Lightmatter / Ayar Labs 使用 MRM（micro‑ring modulator），對溫度極敏感，需要高度精密的溫控系統，否則波長偏移會導致調變失效。

• 另一條路線如某些 2D 方案採 EAM 方案，對溫度容忍較高，較適合放在高熱通量的 XPU 下方。
• Thermal 管理成為 2D optical interposer 最關鍵的技術風險之一。

1. CPO 另一方案：OCS 與 Google TPU v7 架構

2. OCS 基本概念：

3. 以 MEMS micro‑mirror 或其他光學機構，直接在光層完成 path selection，不做 O/E/O。

4. 光路一旦設定好，資料在路徑中不再需要電訊號解析與重調變。

5. 優點：

6. 省掉多次 O/E/O，延遲可壓到 100–200 ns，甚至更低。

7. 功耗也因少掉大量電類元件而明顯降低。

8. 缺點與適用場景：

9. OCS 切換通道的時間為 ms 級，遠慢於電子 switch 的 ns 級，無法應付頻繁變更路由的工作負載。

10. 比較適合 AI backend、長時間固定拓樸的應用。

11. Google TPU v7 案例：

12. 將 4×4×4 個 TPU 組成一個小 cube（64 TPU 單元），cube 之間及 rack 之間透過 OCS 連線。

13. 整體可擴展到 4096 TPU，同時兼顧高頻寬、低延遲與相對較低的 interconnect 功耗。

1. Q&A 摘要

2. FAU / Active alignment 人力與 ASP：

3. 組裝目前仍高度依賴人力，台灣部分光學廠嘗試以自製機台同時處理多 channel，若成功有機會大幅改變 FAU 市場結構。

4. 單價（依 channel 數配置如 18×2 等）目前尚未有穩定公開區間。

5. Shuffle box 角色：

6. 作為 CPO switch 內部的一部分，負責將一個 OE 的 TX 光訊號導向對應 OE 的 RX，使光訊號可以在多個 OE 間正確「洗牌」與重組。

7. 系統中 shuffle box 的數量取決於整體 OE 數目與每個 shuffle box 能承載的 TX–RX 連線。

8. 測試與量產進度：

9. 現階段 insertion test 的標準與 DUT 形式（有無 receptacle、帶不帶光纖）仍未完全統一，不同客戶要求也不一致。

10. UPH（單顆 OA 時間）目前市場共識約 10 分鐘以內，視製程 fine tune 程度可再壓縮。