Agentic_AI邊緣運算

定義

Agentic AI（代理式 / 自主執行 AI）指 AI 不只「回答問題」，更要拆解任務、訂定目標、分解步驟，調用所需工具與 API，並透過結果修正下一步動作，從「模型導向」轉向「系統導向」的自主執行。當此能力推進到邊緣端（現場端硬體）時，對運算平台的設計需求出現結構性轉變：從 GPU 為核心、強調 TOPS 算力，轉向以 CPU 任務編排為主、強調更大 VRAM、記憶體頻寬與 IO 互聯。

圖解

flowchart LR
    IN["任務 / 目標輸入"] --> CORE["LLM / VLM<br/>決策核心<br/>(視覺中心模型)"]
    CORE --> REACT["ReAct 框架<br/>理解 → 規劃 → 行動 → 觀察"]
    REACT --> ORCH["CPU 任務編排<br/>多任務排程"]
    ORCH --> TOOL["調用工具 / API"]
    ORCH --> IO["控制 IO<br/>繼電器 / TTL 5V / 感測"]
    TOOL --> RES["結果"]
    IO --> RES
    RES -->|回饋修正| REACT
    MEM[("大 VRAM /<br/>KV Cache /<br/>In-context 儲存")] -.-> CORE
    MEM -.-> ORCH

與傳統「GPU 推論一次、輸出答案」不同，Agentic 流程以 CPU 編排多步驟工具調用並回饋修正，記憶體（KV Cache / In-context）需求顯著上升。

技術原理

• 從模型導向到系統導向：過去成功關鍵在 GPU 電腦系統（高算力 + 穩定運行）；自主執行平台改以系統設計為核心，CPU 負責任務編排與工具協作，GPU 退為其中一個被調用的運算資源。
• ReAct 框架：以「推理（Reasoning）+ 行動（Acting）」交錯循環實現理解與執行邏輯，調用工具達成多任務排程。
• 視覺中心模型：LLM、VLM 從通用模型轉向視覺中心模型成為決策核心；部分客戶嘗試於邊緣端部署開源模型，目前仍處起步階段。
• 記憶體角色提升：重點在有效利用 Token、避免重複運算（避免「AI 健忘」反覆提醒而消耗 Token），帶動大容量、高頻寬記憶體與 KV Cache / In-context 儲存需求。
• IO 互聯：自主執行需與多種外部裝置互動，控制 IO（繼電器開關、TTL 5V 輸出等）需求上升，這是工業電腦相對純 IT 硬體的差異化。

關鍵參數 / 判斷指標

技術瓶頸 / 風險

• 邊緣端開源模型部署仍處起步：客戶嘗試於現場端部署，落地成熟度待觀察。
• 記憶體供給與成本：大容量、高頻寬記憶體需求上升，遇 DRAM / SSD 漲價週期會墊高 BOM 成本。
• 平台不可互換：x86 與 Jetson 軟體架構不同，產品線需分別開發、無法快速切換以規避缺貨。
• 應用節奏不確定：產業變化快，「今年的答案」每年不同（自動駕駛已落地、人形機器人仍需發酵）。

應用場景

• 智慧交通：由「僅辨識違規」進化為以影像蒐集車流密度、動態調整號誌、實現車流分流（例：空無一人的斑馬線不再硬等 60 秒紅燈）。
• AOI / 視覺檢測：傳統 AI 視覺檢查瑕疵以提升精準度、減少誤判；進到自主執行階段後，AI 可依瑕疵資訊調用設備數據庫判斷瑕疵來源，甚至即時修正。
• 無人載具：AGV、AMR 等可移動載具與手臂機器（已普遍落地）。
• 產線監控、智慧交通與自動駕駛：模型導向轉向系統導向自主執行。

關鍵廠商

相關技術

• 技術_DRAM（KV Cache / In-context 記憶體需求）
• CPU 任務編排（host CPU / orchestration CPU；尚無獨立技術頁，#技術/CPU 母標籤）

來源

• 活動_宸曜_1Q26法說memo_20260617（2026-06-17 宸曜 1Q26 實體法說）