Stock LLM Wiki

CXL

更新 2026-10-19

定義

CXL(Compute Express Link)是建立在 PCIe 實體層之上的高階互連協定,目標是在 CPU、加速器與記憶體擴展裝置之間提供低延遲、一致性(coherency)與可池化的資源共享。對記憶體來說,CXL 的核心價值是把 DDR memory 擴展到 CPU socket 外,形成 memory expansion 或 memory pooling。

三種協定

協定 功能 典型用途
CXL.io 類 PCIe 裝置管理與 I/O 裝置初始化、配置、管理
CXL.cache 裝置可一致性存取 host memory 加速器 cache host memory
CXL.mem host 可存取裝置端 memory 記憶體擴展、記憶體池化

記憶體層級定位

flowchart TB
    CPU[CPU] --> L1[On-package / cache<br/>SRAM]
    CPU --> DDR[Local DDR5 RDIMM<br/>低延遲主記憶體]
    CPU --> CXL[CXL memory expander<br/>容量擴展 / pool]
    GPU[GPU / ASIC] --> HBM[HBM<br/>最高頻寬]
    CXL --> DRAM[DDR5 / future memory media]

圖說:CXL memory 通常不是取代本地 DDR5 或 HBM,而是補足容量、彈性與資源利用率。

圖解

技術_CXL_Micron_CZ122_256GB

圖說:Micron CZ122 256GB CXL Memory Expansion Module(E3.S 形態)— 即本頁「實測效益」中 Xeon 6 benchmark 所用裝置(8 支組 unified NUMA)。可見模組內 DRAM 顆粒陣列與 CXL 控制器:CXL expander 本質是「DRAM + 控制器 + PCIe 實體層」的標準化外掛記憶體,這顆控制器晶片正是 ALAB(Leo)、Montage 等廠商的主戰場。圖片來源:Micron 官網產品頁(2026-06-10 擷取)。

為什麼需要 CXL Memory

  • Memory wall:CPU socket 的 DDR 通道數有限,AI server 與資料庫工作負載需要更大記憶體容量;CXL 讓記憶體不夠時可直接「外掛」、突破 CPU 原生上限。
  • Memory stranding:多台伺服器或多個 CPU socket 的 memory utilization 不均,大量 DRAM 被閒置(stranded);memory pooling 把記憶體變成可動態調度的資源,提高使用率。
  • 加速器、DPU、SmartNIC 與 CPU 之間需要更一致的資料共享模型;GPU 可透過 CXL 借用 CPU memory、某台 server 可借用另一台的 DRAM/SSD。
  • HBM 成本高且容量有限,CXL 可作為較慢但容量更大的外部記憶體層。

記憶體解耦光譜(哪些記憶體適合被 pool 化)

由左至右 latency 容忍度遞增、解耦難度遞減(來源:memo_CXL_記憶體解耦投資思考_20260610):

L1/L2 cache → HBM → local DDR → CXL-attached memory → remote memory → SSD → network storage
(越左越吃 latency、越難解耦)              (越右閒置時間多、越適合解耦)
  • HBM 不容易也未必需要被解耦:HBM 幾乎總是維持高負載,不存在明顯 stranding。
  • CXL 不是 HBM 的替代方案:HBM 該裝還是會裝;CXL 解的是 local DDR 以右的容量與利用率問題。
  • 對記憶體原廠的含意:CXL 創造額外記憶體需求,但利用率提高後 total 需求不會線性放大(thesis,使用者觀點)。

生態系分層

Layer 角色 代表玩家
標準制定 CXL Consortium(2019 起推動) 創始/主要推手:Alibaba、AMD、Arm、Astera Labs、Cisco、Dell、Google、HPE、Huawei、Intel、Meta、Microsoft、NVIDIA、Samsung、SK hynix
Host CPU / XPU 平台 原生 CXL 支援 Intel(Xeon 6)、AMD、Arm 陣營
CSP 系統架構需求端 定義 pooling / tiering 需求 Google 為目前最大推手(使用者判讀),其他 CSP 亦在推
記憶體公司 CXL memory module / expander Samsung(CMM-D)、SK hynix(CMM-Ax/Niagara)、Micron(CZ122 等)
Switch / Retimer / 控制器 互連晶片核心層 ALAB.US(asteralabs)、MRVL.US(marvell)(兩者分屬前段開發與後段基礎設施平台,不必然互斥競爭;OCP 2026 Marvell 產品線為 Structera X/A/P/S 與 PFMA,且 SK hynix 實驗用 Structera、Samsung 與 Marvell/Liquid 共建 CXL appliance,Marvell 在 CXL 池側曝光度高;本批 OCP 簡報未見 Astera Labs 場次,不代表其缺席)、Montage 等
伺服器 OEM / ODM 整合 expander 卡、pooling appliance 緯穎、廣達、鴻海等

實測效益(需求端驗證)

來源 配置 結果
文獻(cluster workload) 使用 CXL 的集群、效益相同前提 DRAM cost -7%
Micron 定位 CXL memory expansion = data center 容量擴展 / cost 優化 memory bandwidth per core 最多 +24%
Micron CZ122 + Intel Xeon 6 6900P 8x CXL E3.S 裝置、Linux kernel 6.9+ page-level interleaving、DDR5 + CXL 組 unified NUMA read-only bandwidth +24%、mixed read/write 最高 +39%、HPC/AI workloads 幾何平均 +24%
Beluga 論文(LLM 推論) CXL 承接長上下文 KV Cache、vLLM inference engine TTFT -89.6%、throughput +7.35x
SK hynix MARS(OCP 2026,自測,配置未載) 運算機櫃內 CXL、跨機櫃 RDMA、獨立記憶體機櫃;長 context KV Cache 取代重算 TTFT 平均 80.76→15.45s(CXL DDR),Hybrid 21.92s,Remote SSD 33.56s,標示 3.5–5.2x(報告_OCP2026_SK海力士_MARS記憶體中心機櫃_20261015)
Samsung(OCP 2026,自測) 機器人/VLM 多輪負載,CXL 池對 RDMA 吞吐 14 對 7 req/s(2x)、TTFT 650→200ms(video_OCP2026_Samsung_代理記憶體分層KVCache_20261015);另稱 vLLM 實測 CXL 池彈性配置 TTFT -38%、吞吐 3.2x,CMM-D 擴展 TPS 5.6x(video_OCP2026_Samsung_高擴展記憶體_20261015);「最多降 25x」為相對 GPU 重算的最大值,條件未述,不當代表值
Marvell(OCP 2026,自測) Llama-3.1-8B、H200、16 users Structera A 139,497 tok/s/TTFT 1,199ms,對 DRAM 80,813/2,162ms、SSD 44,318/4,243ms、HBM 重算 31,394/5,933ms(報告_OCP2026_Marvell_XPU級可組合記憶體Fabric_20261015)
Meta 機隊(OCP 2026,配置與 CXL 版本未載) 通用容量型負載,非 LLM KV Caching 吞吐 +25%(保留 5–10x)、分散式快取延遲 -29%、資料倉儲 executor/台 +25%、開發機 VM/台 +33%(機隊 -15%)、ML parameter server 伺服器 -25%/吞吐 +12%(報告_OCP2026_Meta_CXL超大規模部署_20261015)

口徑提醒:MARS(長 context,秒級)、Samsung(多輪機器人,毫秒級)、Marvell(8B 模型)的模型、負載與基線全不同,TTFT 絕對值不可互比,只能比方向。Micron 的 OCP 2026 簡報(報告_OCP2026_Micron_KVCache卸載分層記憶體模型_20261015)僅為建模與 GH200 驗證,無 CXL 量測,不得引為 CXL 實測。

長上下文 LLM 推論的 KV Cache 是 CXL 最具想像空間的 AI 應用場景:KV Cache 容量隨 context 長度線性成長,放 HBM 太貴、放 SSD 太慢,CXL tier 剛好卡在中間。

關鍵參數 / 瓶頸

指標 意義 觀察重點
Latency CXL memory 比本地 DDR5 更慢 軟體需分層配置 hot / cold data
Bandwidth 受 PCIe / CXL lane 數限制 CXL 3.x switch fabric 是否成熟
Coherency CPU / device memory 一致性 作業系統、hypervisor、application 支援
RAS Reliability / Availability / Serviceability 資料中心導入必要條件;Meta(OCP 2026)稱裝置符合規格仍無法除錯,要求標準化可除錯性與遙測,詳見下節
Ecosystem CPU、switch、controller、DIMM / EDSFF 裝置 需要完整平台驗證

應用場景

  • 記憶體擴展卡:在 PCIe / CXL 插槽上掛載 DDR5,補 CPU 記憶體容量。
  • Memory pooling appliance:多個 host 共享一池 CXL memory,提高 utilization。
  • AI inference / database:把熱資料留在 HBM 或本地 DDR5,冷資料放 CXL tier。
  • composable infrastructure:資料中心按需分配 CPU、GPU、memory、storage。

廠商產品線與路線(OCP 2026,2026-10)

以下皆為廠商簡報,多為展示、POC 或路線圖,不是客戶訂單;本批無任何 CXL 池量產日期。

廠商 產品與規格 進度與註記
SK hynix(報告_OCP2026_SK海力士_運算共享記憶體池_20261015) CMM-Ax 3.0:CXL 2.0 Type 3、PCIe 5.0 x16、DDR5-6400 4 通道 512GB、200GB/s、16 顆 Arm Neoverse V2;池內做 KV 選擇(SnapKV 式淘汰平均縮 30 倍)與 tokenization 卸載(約 130→6ms、TTFT 345→221ms,25.6K 輸入、prefix 命中 96%) FMS/OCP/SC 2025 出展,池化裝置標 Niagara 2.0;MARS 僅「客製試點」。Arcee trace(搭配 Structera)TTFT 圖上 398 對 709ms(Mooncake)、E2E 2,084 對 4,766ms;文字稱 1.4x 但圖上約 1.78x,引用以圖上絕對值為準
Samsung(video_OCP2026_Samsung_高擴展記憶體_20261015、video_OCP2026_Samsung_代理記憶體分層KVCache_20261015) CMM-D:PCIe Gen6、CXL 3.2,系統級 5.5TB、1.6TB/s、閒置延遲約 100ns;MD310 可供客戶 POC、MD320(LPDDR 基)開發中,目標壓縮加去重有效 4TB;scale-out CXL 池 10–80TB、782GB/s 2027 次世代池 20TB、最高 5TB/s(路線圖);與 Marvell、Liquid 共建 CXL appliance;已整合 LMCache/vLLM(自製 DAX 後端);5.5TB 為單一系統非單模組
Samsung 2030 願景(報告_OCP2026_Samsung_2030推論資料中心記憶體Pod_20261015) CXL Pool 與 zNAND-O 同在 L2.5(數百 ns、數百 GB/s、數百 GB~1TB) 同時在 L1.5 保留光學 HBM,等於 CXL 池與光互連記憶體並存;僅定性量級
Marvell(報告_OCP2026_Marvell_XPU級可組合記憶體Fabric_20261015) Structera S:CXL 2.0、PCIe 5.0、2TB/s、<100ns、135W、最多 100TB 池;Structera A(Arm Neoverse V2 近記憶體運算);PFMA:1TB HBM3+16/32TB DDR5、CXL 3.1、<350ns 全為自測,無出貨時程與客戶

超大規模部署:Meta 的失效模式與營運門檻(OCP 2026)

Meta 在機隊已導入 CXL 擴充記憶體(未給規模、廠商、CXL 版本與失效率數字),效益見上方實測表,但落地的是通用容量型負載,不是 LLM KV 主戰場(報告_OCP2026_Meta_CXL超大規模部署_20261015,2026-10):

  • 失效域:Host CPU→CXL 子系統→CXL2DDR bridge→DDR→DIMM,另有 Control plane。
  • 列舉期失效:韌體自檢、SPI flash、link training、ASIC 初始化;執行期:surprise link down、completion timeout、viral error、CE 風暴、ASIC 無回應、MCE;記憶體:雙符號 CE、多位元 UE、DDR training 失敗。
  • 痛點:CXL.mem read timeout 可能是 DIMM、控制器 bug 或韌體,裝置內部不可觀測,結果為 unmaskable MCE、在途工作全毀。修復鏈為 MachineChecker→Unified Repair→Ticketing→技師換 CXL ASIC 或 DIMM。
  • 要求:標準化除錯與遙測,並欲與 CXL Consortium 合作。對控制器廠(Astera Labs、Marvell)而言,RAS 與韌體可觀測性將成採購條件(推論)。

與光互連記憶體池的對照(2026-08-22)

SK hynix 參與的 Nature Electronics CPO 綜述(2026-08-19)提出以 photonic interposer 直接連接 XPU 池與記憶體池,目標 每節點 >100 Tb/s。與 CXL 對照可以看出 CXL 記憶體池化在 AI 場景一直做不起來的根本原因:

方案 頻寬 延遲(load-to-use)
本地 HBM4E ×16(封裝內電氣) 約 525 Tb/s 約 100–150 ns
光記憶體池(SK hynix 論文目標) 100 Tb/s 光鏈 <10 ns(僅物理層)
CXL @ PCIe 6.0 x16 約 1.0 Tb/s 單向 170–250 ns
CXL @ PCIe 7.0 x16 約 2.05 Tb/s 單向 類似

CXL 頻寬與延遲為業界通用規格,非本庫既有來源提供,引用前建議另行查證。

  • 頻寬差兩個數量級是關鍵:CXL 僅約本地 HBM 的 0.2%,把記憶體搬到 CXL 池等於降速約 500 倍。這在 CPU 的 DDR 世界可接受(本地 DDR5 單通道也才約 0.4 Tb/s,CXL 反而不輸),但在 GPU 的 HBM 世界完全不成比例——這才是 CXL 池化在 AI 推不動的物理原因,不是生態或標準問題。
  • 光方案的 100 Tb/s 是本地 HBM 的 19%、降速約 5 倍,首次進入「部分工作負載可接受」的範圍。
  • 電氣路徑的物理上限:要用 PCIe 6.0 湊到 100 Tb/s 需約 780 條 lane,封裝排不下(旗艦 GPU 對外約 128 條 PCIe lane 等級)。
  • 延遲不可對等比較:<10 ns 為 chip-to-chip 物理鏈路,CXL 的 170–250 ns 為含協定與控制器的 load-to-use。光方案若同樣跑 coherence protocol,總延遲估落在 50–150 ns,優勢約 2–4 倍而非 20 倍。

對 CXL 控制器廠的判讀:先利多、後封頂

光方案尚無任何量產時程(論文與新聞稿均未提供),未來 5-10 年 CXL 仍是唯一可行的記憶體池化手段,需求不受影響;但若光方案成真,CXL 在 AI 場景的天花板將被封死,只剩 CPU 的 DDR 擴展市場。相關標的見 ALAB.US(asteralabs)。

「CXL 僅 HBM 約 0.2%」論點與廠商自測並列(OCP 2026,2026-10)

  • 本頁論點:CXL 頻寬僅本地 HBM 約 0.2%,是 AI 池化推不動的物理原因(推算,見上)。
  • Marvell 自測(報告_OCP2026_Marvell_XPU級可組合記憶體Fabric_20261015):Structera A 139k tok/s 對 DRAM 81k,為廠商反論;前提是 Llama-3.1-8B、1×H200、16 users 的小模型,論證靠容量與近記憶體運算而非頻寬。
  • 商用卡仍是 CXL 2.0/PCIe 5.0 世代(SK hynix CMM-Ax 單卡 200GB/s、Samsung 池 782GB/s),SK hynix 靠容量與預選 KV 避頻寬瓶頸,Samsung 以容量與利用率論證。
  • 兩者並存不裁定:頻寬論針對大模型 HBM 級負載,廠商數據針對容量層與小模型;引用時須註明廠商自測與模型大小。

完整推算見 分析_光連記憶體池的物理天花板_SKhynix_Nature_20260822。

投資觀察

  • CXL 若放量,受惠不只 DRAM bit demand,也包括 controller、retimer / redriver、PCB / 背板、connector、測試與系統整合。
  • 對 DRAM 原廠而言,CXL memory module 可創造新的高容量模組產品線,但導入節奏取決於 CPU 平台與軟體成熟度;且利用率提升會部分抵銷 bit 需求放大。
  • CXL 的投資邏輯偏中長期平台變革;短期 AI 記憶體主線仍以 HBM、DDR5、LPDDR / SOCAMM 為主。
  • 受惠者與台股映射的完整論述 → 分析_CXL記憶體解耦投資邏輯_20260610

相關技術

來源

相關頁面