Stock LLM Wiki

CXL

更新 2026-08-22

定義

CXL(Compute Express Link)是建立在 PCIe 實體層之上的高階互連協定,目標是在 CPU、加速器與記憶體擴展裝置之間提供低延遲、一致性(coherency)與可池化的資源共享。對記憶體來說,CXL 的核心價值是把 DDR memory 擴展到 CPU socket 外,形成 memory expansion 或 memory pooling。

三種協定

協定 功能 典型用途
CXL.io 類 PCIe 裝置管理與 I/O 裝置初始化、配置、管理
CXL.cache 裝置可一致性存取 host memory 加速器 cache host memory
CXL.mem host 可存取裝置端 memory 記憶體擴展、記憶體池化

記憶體層級定位

flowchart TB
    CPU[CPU] --> L1[On-package / cache<br/>SRAM]
    CPU --> DDR[Local DDR5 RDIMM<br/>低延遲主記憶體]
    CPU --> CXL[CXL memory expander<br/>容量擴展 / pool]
    GPU[GPU / ASIC] --> HBM[HBM<br/>最高頻寬]
    CXL --> DRAM[DDR5 / future memory media]

圖說:CXL memory 通常不是取代本地 DDR5 或 HBM,而是補足容量、彈性與資源利用率。

圖解

技術_CXL_Micron_CZ122_256GB

圖說:Micron CZ122 256GB CXL Memory Expansion Module(E3.S 形態)— 即本頁「實測效益」中 Xeon 6 benchmark 所用裝置(8 支組 unified NUMA)。可見模組內 DRAM 顆粒陣列與 CXL 控制器:CXL expander 本質是「DRAM + 控制器 + PCIe 實體層」的標準化外掛記憶體,這顆控制器晶片正是 ALAB(Leo)、Montage 等廠商的主戰場。圖片來源:Micron 官網產品頁(2026-06-10 擷取)。

為什麼需要 CXL Memory

  • Memory wall:CPU socket 的 DDR 通道數有限,AI server 與資料庫工作負載需要更大記憶體容量;CXL 讓記憶體不夠時可直接「外掛」、突破 CPU 原生上限。
  • Memory stranding:多台伺服器或多個 CPU socket 的 memory utilization 不均,大量 DRAM 被閒置(stranded);memory pooling 把記憶體變成可動態調度的資源,提高使用率。
  • 加速器、DPU、SmartNIC 與 CPU 之間需要更一致的資料共享模型;GPU 可透過 CXL 借用 CPU memory、某台 server 可借用另一台的 DRAM/SSD。
  • HBM 成本高且容量有限,CXL 可作為較慢但容量更大的外部記憶體層。

記憶體解耦光譜(哪些記憶體適合被 pool 化)

由左至右 latency 容忍度遞增、解耦難度遞減(來源:memo_CXL_記憶體解耦投資思考_20260610):

L1/L2 cache → HBM → local DDR → CXL-attached memory → remote memory → SSD → network storage
(越左越吃 latency、越難解耦)              (越右閒置時間多、越適合解耦)
  • HBM 不容易也未必需要被解耦:HBM 幾乎總是維持高負載,不存在明顯 stranding。
  • CXL 不是 HBM 的替代方案:HBM 該裝還是會裝;CXL 解的是 local DDR 以右的容量與利用率問題。
  • 對記憶體原廠的含意:CXL 創造額外記憶體需求,但利用率提高後 total 需求不會線性放大(thesis,使用者觀點)。

生態系分層

Layer 角色 代表玩家
標準制定 CXL Consortium(2019 起推動) 創始/主要推手:Alibaba、AMD、Arm、Astera Labs、Cisco、Dell、Google、HPE、Huawei、Intel、Meta、Microsoft、NVIDIA、Samsung、SK hynix
Host CPU / XPU 平台 原生 CXL 支援 Intel(Xeon 6)、AMD、Arm 陣營
CSP 系統架構需求端 定義 pooling / tiering 需求 Google 為目前最大推手(使用者判讀),其他 CSP 亦在推
記憶體公司 CXL memory module / expander Samsung、SK hynix、Micron(CZ122 等)
Switch / Retimer / 控制器 互連晶片核心層 ALAB.US(asteralabs)MRVL.US(marvell)(兩者分屬前段開發與後段基礎設施平台,不必然互斥競爭)、Montage 等
伺服器 OEM / ODM 整合 expander 卡、pooling appliance 緯穎、廣達、鴻海等

實測效益(需求端驗證)

來源 配置 結果
文獻(cluster workload) 使用 CXL 的集群、效益相同前提 DRAM cost -7%
Micron 定位 CXL memory expansion = data center 容量擴展 / cost 優化 memory bandwidth per core 最多 +24%
Micron CZ122 + Intel Xeon 6 6900P 8x CXL E3.S 裝置、Linux kernel 6.9+ page-level interleaving、DDR5 + CXL 組 unified NUMA read-only bandwidth +24%、mixed read/write 最高 +39%、HPC/AI workloads 幾何平均 +24%
Beluga 論文(LLM 推論) CXL 承接長上下文 KV Cache、vLLM inference engine TTFT -89.6%、throughput +7.35x

長上下文 LLM 推論的 KV Cache 是 CXL 最具想像空間的 AI 應用場景:KV Cache 容量隨 context 長度線性成長,放 HBM 太貴、放 SSD 太慢,CXL tier 剛好卡在中間。

關鍵參數 / 瓶頸

指標 意義 觀察重點
Latency CXL memory 比本地 DDR5 更慢 軟體需分層配置 hot / cold data
Bandwidth 受 PCIe / CXL lane 數限制 CXL 3.x switch fabric 是否成熟
Coherency CPU / device memory 一致性 作業系統、hypervisor、application 支援
RAS Reliability / Availability / Serviceability 資料中心導入必要條件
Ecosystem CPU、switch、controller、DIMM / EDSFF 裝置 需要完整平台驗證

應用場景

  • 記憶體擴展卡:在 PCIe / CXL 插槽上掛載 DDR5,補 CPU 記憶體容量。
  • Memory pooling appliance:多個 host 共享一池 CXL memory,提高 utilization。
  • AI inference / database:把熱資料留在 HBM 或本地 DDR5,冷資料放 CXL tier。
  • composable infrastructure:資料中心按需分配 CPU、GPU、memory、storage。

與光互連記憶體池的對照(2026-08-22)

SK hynix 參與的 Nature Electronics CPO 綜述(2026-08-19)提出以 photonic interposer 直接連接 XPU 池與記憶體池,目標 每節點 >100 Tb/s。與 CXL 對照可以看出 CXL 記憶體池化在 AI 場景一直做不起來的根本原因

方案 頻寬 延遲(load-to-use)
本地 HBM4E ×16(封裝內電氣) 約 525 Tb/s 約 100–150 ns
光記憶體池(SK hynix 論文目標) 100 Tb/s 光鏈 <10 ns(僅物理層)
CXL @ PCIe 6.0 x16 1.0 Tb/s 單向 170–250 ns
CXL @ PCIe 7.0 x16 2.05 Tb/s 單向 類似

CXL 頻寬與延遲為業界通用規格,非本庫既有來源提供,引用前建議另行查證。

  • 頻寬差兩個數量級是關鍵:CXL 僅約本地 HBM 的 0.2%,把記憶體搬到 CXL 池等於降速約 500 倍。這在 CPU 的 DDR 世界可接受(本地 DDR5 單通道也才約 0.4 Tb/s,CXL 反而不輸),但在 GPU 的 HBM 世界完全不成比例——這才是 CXL 池化在 AI 推不動的物理原因,不是生態或標準問題
  • 光方案的 100 Tb/s 是本地 HBM 的 19%、降速約 5 倍,首次進入「部分工作負載可接受」的範圍。
  • 電氣路徑的物理上限:要用 PCIe 6.0 湊到 100 Tb/s 需約 780 條 lane,封裝排不下(旗艦 GPU 對外約 128 條 PCIe lane 等級)。
  • 延遲不可對等比較:<10 ns 為 chip-to-chip 物理鏈路,CXL 的 170–250 ns 為含協定與控制器的 load-to-use。光方案若同樣跑 coherence protocol,總延遲估落在 50–150 ns,優勢約 2–4 倍而非 20 倍

對 CXL 控制器廠的判讀:先利多、後封頂

光方案尚無任何量產時程(論文與新聞稿均未提供),未來 5-10 年 CXL 仍是唯一可行的記憶體池化手段,需求不受影響;但若光方案成真,CXL 在 AI 場景的天花板將被封死,只剩 CPU 的 DDR 擴展市場。相關標的見 ALAB.US(asteralabs)

完整推算見 分析_光連記憶體池的物理天花板_SKhynix_Nature_20260822

投資觀察

  • CXL 若放量,受惠不只 DRAM bit demand,也包括 controller、retimer / redriver、PCB / 背板、connector、測試與系統整合。
  • 對 DRAM 原廠而言,CXL memory module 可創造新的高容量模組產品線,但導入節奏取決於 CPU 平台與軟體成熟度;且利用率提升會部分抵銷 bit 需求放大。
  • CXL 的投資邏輯偏中長期平台變革;短期 AI 記憶體主線仍以 HBM、DDR5、LPDDR / SOCAMM 為主。
  • 受惠者與台股映射的完整論述 → 分析_CXL記憶體解耦投資邏輯_20260610

相關技術

來源

相關頁面