Stock LLM Wiki

CXL

更新 2026-06-10

定義

CXL(Compute Express Link)是建立在 PCIe 實體層之上的高階互連協定,目標是在 CPU、加速器與記憶體擴展裝置之間提供低延遲、一致性(coherency)與可池化的資源共享。對記憶體來說,CXL 的核心價值是把 DDR memory 擴展到 CPU socket 外,形成 memory expansion 或 memory pooling。

三種協定

協定 功能 典型用途
CXL.io 類 PCIe 裝置管理與 I/O 裝置初始化、配置、管理
CXL.cache 裝置可一致性存取 host memory 加速器 cache host memory
CXL.mem host 可存取裝置端 memory 記憶體擴展、記憶體池化

記憶體層級定位

flowchart TB
    CPU[CPU] --> L1[On-package / cache<br/>SRAM]
    CPU --> DDR[Local DDR5 RDIMM<br/>低延遲主記憶體]
    CPU --> CXL[CXL memory expander<br/>容量擴展 / pool]
    GPU[GPU / ASIC] --> HBM[HBM<br/>最高頻寬]
    CXL --> DRAM[DDR5 / future memory media]

圖說:CXL memory 通常不是取代本地 DDR5 或 HBM,而是補足容量、彈性與資源利用率。

圖解

技術_CXL_Micron_CZ122_256GB

圖說:Micron CZ122 256GB CXL Memory Expansion Module(E3.S 形態)— 即本頁「實測效益」中 Xeon 6 benchmark 所用裝置(8 支組 unified NUMA)。可見模組內 DRAM 顆粒陣列與 CXL 控制器:CXL expander 本質是「DRAM + 控制器 + PCIe 實體層」的標準化外掛記憶體,這顆控制器晶片正是 ALAB(Leo)、Montage 等廠商的主戰場。圖片來源:Micron 官網產品頁(2026-06-10 擷取)。

為什麼需要 CXL Memory

  • Memory wall:CPU socket 的 DDR 通道數有限,AI server 與資料庫工作負載需要更大記憶體容量;CXL 讓記憶體不夠時可直接「外掛」、突破 CPU 原生上限。
  • Memory stranding:多台伺服器或多個 CPU socket 的 memory utilization 不均,大量 DRAM 被閒置(stranded);memory pooling 把記憶體變成可動態調度的資源,提高使用率。
  • 加速器、DPU、SmartNIC 與 CPU 之間需要更一致的資料共享模型;GPU 可透過 CXL 借用 CPU memory、某台 server 可借用另一台的 DRAM/SSD。
  • HBM 成本高且容量有限,CXL 可作為較慢但容量更大的外部記憶體層。

記憶體解耦光譜(哪些記憶體適合被 pool 化)

由左至右 latency 容忍度遞增、解耦難度遞減(來源:memo_CXL_記憶體解耦投資思考_20260610):

L1/L2 cache → HBM → local DDR → CXL-attached memory → remote memory → SSD → network storage
(越左越吃 latency、越難解耦)              (越右閒置時間多、越適合解耦)
  • HBM 不容易也未必需要被解耦:HBM 幾乎總是維持高負載,不存在明顯 stranding。
  • CXL 不是 HBM 的替代方案:HBM 該裝還是會裝;CXL 解的是 local DDR 以右的容量與利用率問題。
  • 對記憶體原廠的含意:CXL 創造額外記憶體需求,但利用率提高後 total 需求不會線性放大(thesis,使用者觀點)。

生態系分層

Layer 角色 代表玩家
標準制定 CXL Consortium(2019 起推動) 創始/主要推手:Alibaba、AMD、Arm、Astera Labs、Cisco、Dell、Google、HPE、Huawei、Intel、Meta、Microsoft、NVIDIA、Samsung、SK hynix
Host CPU / XPU 平台 原生 CXL 支援 Intel(Xeon 6)、AMD、Arm 陣營
CSP 系統架構需求端 定義 pooling / tiering 需求 Google 為目前最大推手(使用者判讀),其他 CSP 亦在推
記憶體公司 CXL memory module / expander Samsung、SK hynix、Micron(CZ122 等)
Switch / Retimer / 控制器 互連晶片核心層 ALAB.US(asteralabs)MRVL.US(marvell)(兩者分屬前段開發與後段基礎設施平台,不必然互斥競爭)、Montage 等
伺服器 OEM / ODM 整合 expander 卡、pooling appliance 緯穎、廣達、鴻海等

實測效益(需求端驗證)

來源 配置 結果
文獻(cluster workload) 使用 CXL 的集群、效益相同前提 DRAM cost -7%
Micron 定位 CXL memory expansion = data center 容量擴展 / cost 優化 memory bandwidth per core 最多 +24%
Micron CZ122 + Intel Xeon 6 6900P 8x CXL E3.S 裝置、Linux kernel 6.9+ page-level interleaving、DDR5 + CXL 組 unified NUMA read-only bandwidth +24%、mixed read/write 最高 +39%、HPC/AI workloads 幾何平均 +24%
Beluga 論文(LLM 推論) CXL 承接長上下文 KV Cache、vLLM inference engine TTFT -89.6%、throughput +7.35x

長上下文 LLM 推論的 KV Cache 是 CXL 最具想像空間的 AI 應用場景:KV Cache 容量隨 context 長度線性成長,放 HBM 太貴、放 SSD 太慢,CXL tier 剛好卡在中間。

關鍵參數 / 瓶頸

指標 意義 觀察重點
Latency CXL memory 比本地 DDR5 更慢 軟體需分層配置 hot / cold data
Bandwidth 受 PCIe / CXL lane 數限制 CXL 3.x switch fabric 是否成熟
Coherency CPU / device memory 一致性 作業系統、hypervisor、application 支援
RAS Reliability / Availability / Serviceability 資料中心導入必要條件
Ecosystem CPU、switch、controller、DIMM / EDSFF 裝置 需要完整平台驗證

應用場景

  • 記憶體擴展卡:在 PCIe / CXL 插槽上掛載 DDR5,補 CPU 記憶體容量。
  • Memory pooling appliance:多個 host 共享一池 CXL memory,提高 utilization。
  • AI inference / database:把熱資料留在 HBM 或本地 DDR5,冷資料放 CXL tier。
  • composable infrastructure:資料中心按需分配 CPU、GPU、memory、storage。

投資觀察

  • CXL 若放量,受惠不只 DRAM bit demand,也包括 controller、retimer / redriver、PCB / 背板、connector、測試與系統整合。
  • 對 DRAM 原廠而言,CXL memory module 可創造新的高容量模組產品線,但導入節奏取決於 CPU 平台與軟體成熟度;且利用率提升會部分抵銷 bit 需求放大。
  • CXL 的投資邏輯偏中長期平台變革;短期 AI 記憶體主線仍以 HBM、DDR5、LPDDR / SOCAMM 為主。
  • 受惠者與台股映射的完整論述 → 分析_CXL記憶體解耦投資邏輯_20260610

相關技術

來源

相關頁面