Stock LLM Wiki

FDP與SSD資料放置

更新 2026-10-19

本頁整理 OCP 2026(2026-10-12~15)三場簡報對「SSD 當 KV Cache 層」的耐久問題與解法。數字皆為廠商或 hyperscaler 自測、建模或口述,各場模型、負載、條件不同,不可互比;台廠含意全為推論(簡報未點名任何控制器廠或模組廠)。

定義

SSD 的耐久(DWPD,每日可全碟寫入次數)不只取決於 NAND 的 P/E 次數,還取決於寫入放大係數(WAF):主機寫 1 單位資料,快閃內部因垃圾回收(GC)實際搬寫多少。主機不告訴 SSD 資料的冷熱與生命週期,不同壽命的資料混在同一個擦除區塊,GC 就要搬移仍有效的資料,WAF 上升、有效 DWPD 下降。

資料放置(data placement)技術讓主機把「生命週期相近的資料」告訴 SSD 放在一起,整塊一起失效,GC 就不必搬移:

技術 做法 備註
OP(Over-provisioning) 預留更多隱藏容量給 GC,降低 WAF 最簡單,代價是可用容量下降
ZNS(Zoned Namespaces) SSD 切成 zone,主機只能循序寫入、整 zone 重置,SSD 不需 GC 主機軟體需改寫;SK hynix 估可使 QLC 滿足耐久所需容量降至 8.8TB
FDP(Flexible Data Placement) NVMe 機制:主機寫入時帶 Placement ID(placement directive),對應 Reclaim Unit Handle,SSD 把同 ID 資料放進各自的 reclaim unit,主機可整個 reclaim unit 一次釋放 比 ZNS 向下相容(仍可隨機寫);Samsung、Meta 在 OCP 2026 推
KV SSD 以 key-value 介面(SNIA Key Value Storage API)取代區塊位址,免區塊轉譯 SK hynix 提出為待評估方向;Samsung 2030 願景把 KV SSD 放在 L3
混合媒體 同一顆 TLC/QLC SSD 劃出 SLC 分區放 metadata 與高耐久資料 Samsung:KV 需高 DWPD 但保存期要求低,可再犧牲保存期換 DWPD

為什麼 KV Cache 讓耐久變成一級限制

KV Cache 卸載到 SSD 後,寫入量遠高於傳統儲存。SK hynix 估算(Qwen3-14B、BF16、10 分鐘 TTL,單一模型推算,不宜外推到大模型;報告_OCP2026_SK海力士_儲存作為LLM效能層_20261015,2026-10):

  • KV 工作集每 GPU 約 781GB;每日寫入最多約 57.5TB/GPU。
  • 滿足耐久的最小 SSD 容量:SLC 0.29TB、TLC 14.4TB、QLC 28.8TB;過度配置(OP)可把 TLC 降到 4.8TB,ZNS 可把 QLC 降到 8.8TB。
  • 稱部分企業級 SSD 達不到所需 DWPD。呼籲 OCP 評估 FDP、ZNS、KV SSD 用於 KV cache。
報告_OCP2026_SK海力士_儲存作為LLM效能層_20261015_p11

圖說(SK hynix 簡報 p11):SSD 耐久,每 GPU 每日寫入 57.5TB,SLC/TLC/QLC 下最小容量需求 0.29/14.4/28.8TB,OP 與 ZNS 可降至 4.8/8.8TB;來源 報告_OCP2026_SK海力士_儲存作為LLM效能層_20261015。

各家數字(OCP 2026)

來源 數字與主張 口徑
Samsung 高擴展記憶體場(video_OCP2026_Samsung_高擴展記憶體_20261015,ASR 字幕) KV 與 agent 需 DWPD 3+,QLC 單獨撐不住;FDP 使 WAF 由 3 或 4 降到 1;Lustre 多租戶混合負載實測 3.4→1.1;PM1773(E3.S、16–256TB、0.6 DWPD) Samsung 實驗室值;DWPD 3+ 為口述需求
Samsung 代理記憶體分層場(video_OCP2026_Samsung_代理記憶體分層KVCache_20261015) FDP(大 RUH)降 WAF 以提高 DWPD;混合媒體;預取使前段 TTFT 約 -35% 自測,ASR 字幕(FDPC=FDP、WAFF=WAF 已校正)
Meta QLC 場(報告_OCP2026_Meta_QLC儲存_20261015) WAF 3–5x 使耐久僅 TLC 的 20%;Placement ID(dtype=2)使有效 DWPD 0.17→0.96;QLC 規格 DWPD 0.25–0.6;SLC/pSLC 緩衝用完寫入掉 3–10x 實機隊經驗,測試條件未載;未給導入比例
SK hynix 儲存場 見上節 57.5TB/日、最小容量表 單一 14B 模型推算

三場一致:FDP/ZNS/資料放置是共同解法,SSD 層的故事是「耐久與寫入設計」,而非單純容量。

報告_OCP2026_Meta_QLC儲存_20261015_p14

圖說(Meta 簡報 p14):Drive-managed 與 Host-directed placement 對照;左側應用不帶提示、SSD 控制器猜測分組、GC 搬移導致 WAF 上升;右側應用標 hot/warm/cold、NVMe 寫入帶 Placement ID(dtype=2)、各進獨立 reclaim unit、host 一次釋放整個 reclaim unit;來源 報告_OCP2026_Meta_QLC儲存_20261015。

對控制器與韌體的要求

  • FDP/ZNS/KV 介面支援:控制器與韌體要能實作 placement directive、reclaim unit 管理。
  • 遙測:Meta 要求 OCP DC NVMe SSD 規格回報緩衝水位、GC 狀態與進度、即時 WAF;主機端把碟標為 READY/IN USE/COOLING,突發寫入導向冷卻碟。
  • 平行度與 PCIe 資源:SK hynix 測試中,調 LMCache chunk size 加 io_uring 後 SSD TTFT 才由記憶體基線 1.26–1.92x 降到 1.07–1.14x;GPU 走 PCIe x16 而每顆 SSD 僅 x4,需更多 PCIe 資源與更快介面。
  • 垂直整合壓力:Samsung 以自家 PM17xx 控制器與 FDP 自成一套,SK hynix 亦偏自家研究;外部控制器廠機會偏非三大廠客戶(推論)。

關鍵參數 / 判斷指標

指標 意義 觀察重點
WAF 內部搬寫放大倍數 3–5x(無放置)→ 約 1(FDP);Meta 測試條件未載
有效 DWPD 標稱 DWPD 除以 WAF 的實際可用耐久 KV 場景需求 3+,QLC 標稱 0.25–0.6
滿足耐久的最小容量 容量被耐久逼大的程度 QLC 28.8TB → ZNS 8.8TB(單一模型推算)
控制器遙測 主機能否看到 GC/WAF 列為 OCP DC NVMe SSD 規格要求(Meta)

技術瓶頸 / 風險

  • 主機軟體需配合:FDP 需應用或檔案系統送出 Placement ID,ZNS 更需改寫寫入路徑;Meta 的做法是應用層放置加快取感知。
  • 數字為自測:WAF 3.4→1.1、0.17→0.96 的測試條件都未載,不代表所有負載。
  • SSD 僅在高命中、深度調校、小模型微基準下接近 DRAM,長 context 仍落後 CXL(見 技術_NAND近記憶體化_KV Cache卸載與HBF);耐久設計解決的是壽命,不是延遲。
  • SK hynix 與 Samsung 的 SSD 側主張未宣布對應量產產品時程(Samsung PM1773 等以產品名呈現,無量產日)。

關鍵廠商

環節 廠商 角色
記憶體原廠/SSD 005930.KR(samsung) FDP、混合媒體、預取,PM1763/PM1773;推動 large block IO、AISIO
記憶體原廠/SSD 000660.KR(sk_hynix) 研究側主張 FDP、ZNS、KV SSD;未宣布產品
使用端 Meta QLC warm 層、Placement ID、遙測要求(供應商匿名 A/B)
控制器(推論,簡報未點名) 8299_群聯(市)、SIMO.US(silicon_motion)、Fadu 具韌體客製能力者可能受益;本批簡報無任何證據顯示其已支援,須另查證
模組(推論,簡報未點名) 3260_威剛(市)、5289_宜鼎(櫃) Meta 稱高密度企業級 QLC 難取得、Samsung PM1773 垂直整合;對模組廠雙面,無證據

應用場景

  • LLM 推論 KV Cache 的溫/冷層(Samsung 分類:熱=HBM/DRAM/CXL,溫=TLC SSD,冷=QLC/物件儲存)。
  • hyperscaler 的 warm 儲存(Meta QLC)。
  • 多租戶混合負載檔案系統(Samsung 以 Lustre 為例)。

相關技術

來源