定義
LPU（Language Processing Unit）在本庫主要指 Groq 的低延遲 AI 推論處理器 / LPX 伺服器平台，屬於 AI ASIC / XPU 的一種。它不是通用 GPU，也不是 Broadcom / 聯發科語境下的泛稱 XPU；本頁用於收斂「Groq LPU / Groq 3 LPX / LPU 散熱與電源」相關資料。
LPU 的核心定位是把大型語言模型推論工作負載做成可預測、低延遲、高 throughput 的資料流式運算。相較 GPU 以大量 SIMT / tensor core 與 HBM 做高吞吐訓練與推論，LPU 更強調 compiler-controlled dataflow、低 jitter latency 與推論服務效率。
圖解
flowchart LR
REQ[LLM / Agent 推論請求] --> COMP[Compiler / graph scheduling]
COMP --> LPU[LPU<br/>deterministic dataflow ASIC]
LPU --> MEM[On-chip SRAM / local buffer]
LPU --> NET[Scale-out network / rack fabric]
LPU --> COOL[Liquid cooling<br/>cold plate + QD]
LPU --> PWR[Board power<br/>SPS / controller / VRM]
NET --> RACK[Groq LPX rack / tray]
圖說：LPU 是以推論資料流為中心的 AI ASIC；投資觀察不只在晶片本身，也延伸到 LPX rack 的冷板、快接頭、板上電源與系統整合。
技術原理
Groq LPU 官方架構重點（2026-07 查閱）
Groq 官方 LPU architecture 頁將 LPU 定位為 inference-first 的 custom silicon，與傳統 GPU 改用於推論不同。官方強調四個架構點：
- Single core + on-chip SRAM：以數百 MB SRAM 作為 primary weight storage，而不是傳統 cache，降低 latency 並餵飽運算單元。
- Compiler fully in control：由 purpose-built compiler 做 static scheduling，讓執行時序可預測。
- Deterministic execution：每個 cycle 都可被排程與估計，避免不可預期延遲。
- Direct chip-to-chip connectivity：LPUs 以直接晶片互連協同，讓多顆晶片像單一大核心運作；compiler 也同時排程 compute 與 network。
技術取捨
- 資料流式執行：LPU 透過編譯器預先排程 tensor / matrix 運算與資料搬移，目標是降低動態調度、cache miss 與不確定延遲。
- 低延遲推論：適合 LLM token generation、agentic AI 即時互動、語音 / 對話式推論等對 latency jitter 敏感的場景。
- ASIC 化取捨：以特定模型運算圖與推論流程優化功耗 / 延遲，彈性低於 GPU，但若 workload 穩定，TCO 可能改善。
- Rack / tray 系統依賴：LPU 放量時，供應鏈關鍵不只晶片，還包含 compute tray、板上電源、液冷或氣冷、QD、機構件與系統測試。
口徑差異：Groq 官方 LPU vs NVIDIA / LPX rack 供應鏈
Groq 官方 LPU architecture 頁描述 LPU / GroqRack 為 air-cooled by design；本庫散熱簡報與 Vera Rubin POD 資料則把 Groq 3 LPX / LPU 放進高密度 rack 液冷內含價值比較。合理解讀是：公開 Groq LPU stack 與 NVIDIA Rubin POD / Groq 3 LPX 高密度配置可能不是同一口徑。投資分析時需分開標注來源。
LPU 名詞不是 Groq 獨占
學術界也有 HyperAccel「Latency Processing Unit」等 LPU 架構論文，同樣聚焦 LLM inference latency / scalability。若來源只寫 LPU，需先判斷是 Groq Language Processing Unit、HyperAccel Latency Processing Unit，或券商把 LPX / Groq 3 平台簡稱為 LPU。
關鍵參數 / 判斷指標
| 指標 | 意義 | 觀察重點 |
|---|---|---|
| Token latency / jitter | 推論互動體驗與服務品質 | 是否能穩定壓低 first-token / per-token latency |
| Throughput / rack | 單機櫃可服務推論量 | LPX rack 出貨與雲端部署節奏 |
| Compiler 支援 | 模型映射效率 | 新模型架構、MoE、長上下文支援速度 |
| SRAM / local buffer | 降低外部記憶體存取 | 模型大小與 batch strategy 的限制 |
| 液冷內含價值 | LPU rack 對散熱件拉動 | 水冷板、QD、manifold、CDU 配置 |
| 板上電源 | sub-1V 高電流供電 | SPS / controller / DrMOS 供應商送驗與量產 |
受惠環節 / 台股映射
| 環節 | 角色 | 相關公司 / 頁面 |
|---|---|---|
| 系統整合 / compute tray | Groq 3 LPX tray / rack 製造與展示 | 2317_鴻海（市） |
| 液冷冷板 | 高密度推論 ASIC rack 散熱 | 3017_奇鋐（市）、技術_水冷板ColdPlate |
| 快接頭 QD | LPU rack 液冷連接 | 6805_富世達（市）、技術_QD快接頭 |
| 板上電源 | LPU 板 VRM、SPS + controller | ON.US(onsemi)、供應鏈_AI伺服器板上電源 |
| 平台 / cluster | Vera Rubin POD 展示包含 Groq 3 LPX racks | NVDA.US(nvidia)、供應鏈_Vera_Rubin_NVL72機櫃 |
受惠強弱排序（目前資料）
| 受惠方向 | 強度 | 理由 | 追蹤指標 |
|---|---|---|---|
| Rack / tray 組裝 | 高 | Groq 3 LPX 是獨立 compute tray / rack 形態，鴻海已展示 | LPX 量產時程、rack attach ratio |
| 液冷與 QD | 中高 | 本庫散熱簡報給 LPU 較高 QD / cold plate 內含價值 | QD 用量、冷板單價、是否採 liquid cooled rack |
| 板上電源 | 中高 | ON.US 與板上電源頁記錄 Groq LPU SPS + controller 送驗 | 送驗轉量產、SPS / controller socket share |
| 先進封裝 / HBM | 中 | Groq 官方 LPU 強調 on-chip SRAM，對 HBM 依賴與 GPU 不同；下一代 LPX 仍需看實際封裝 | die size、SRAM 容量、封裝廠 |
| 光通訊 / scale-up | 中 | 多 LPU 協同需晶片 / rack 互連，但是否導入 CPO 未確認 | LPX interconnect bandwidth、optical vs copper 路線 |
投資觀察
- 非 GPU 推論平台擴散：LPU 代表 AI cluster 不只由 GPU rack 構成，推論專用 ASIC / rack 可能成為第二成長線。
- 液冷槓桿高：散熱產業簡報把 LPU 列為高液冷內含價值平台，QD 與水冷板用量均高於部分 GPU / ASIC 平台口徑。
- 電源供應鏈驗證：ON.US 頁與 AI 伺服器板上電源頁已記錄 Groq LPU 板 VRM 送驗中，需追蹤是否轉為量產訂單。
- 客戶與時程不確定：本庫目前對 LPU 主要來自 Computex / 散熱與電源鏈資料，仍需後續公司法說或客戶出貨驗證。
技術瓶頸 / 風險
- 模型快速變化：若模型架構變化快，ASIC / compiler 需快速跟上，否則 GPU 的通用性更有優勢。
- 軟體生態：推論平台是否能被雲端與開發者大規模採用，取決於 compiler、runtime、模型支援與部署工具。
- 系統級良率與散熱：LPU rack 高密度部署會把瓶頸移到冷板、QD、VRM、電源瞬態與系統測試。
- 來源口徑：LPU 液冷內含價值目前多來自券商 / 簡報估算，需標注來源，不宜直接與 NVIDIA / Google / AWS 平台口徑混用。
相關技術
來源
- 供應鏈_Vera_Rubin_NVL72機櫃 — Computex 2026 MS 補充：Vera Rubin POD 搭配 Groq 3 LPX racks；鴻海展示 Groq 3 LPX compute tray，預計 3Q26 量產。
- 供應鏈_AI伺服器液冷 — 散熱產業簡報（2026-06-30）：LPU 每櫃水冷板 / QD 用量與液冷內含價值估算。
- 技術_QD快接頭、技術_水冷板ColdPlate — LPU 相關 QD / cold plate 內含價值整理。
- 供應鏈_AI伺服器板上電源、ON.US(onsemi) — Groq LPU 板 VRM / SPS + controller 送驗資訊。
- Groq，LPU Architecture，2026-07 查閱：https://groq.com/lpu-architecture
- Groq homepage，inference-first custom silicon / GroqCloud positioning，2026-07 查閱：https://groq.com/
- Ahmed et al., "Answer Fast: Accelerating BERT on the Tensor Streaming Processor," arXiv 2022：https://arxiv.org/abs/2206.11062
- Moon et al., "LPU: A Latency-Optimized and Highly Scalable Processor for Large Language Model Inference," arXiv 2024：https://arxiv.org/abs/2408.07326