凱基 AI軟硬體專家會議

產業 | AI軟硬體專家會議 20261016 - 模型評價不再僅限於跑分數據，而是著重於使用者回饋與場景，目前單純考慮純數據的話還是以 Fable 5 最為領先，argon 4 也在水準上 - Agentic 要做好主要還是需要用戶使用數據，此為目前模型關鍵，Gemini 在使用者條款限制下發展較差 - TPU 明年預計量是 700 萬，GPU 是 100 萬，外部租賃較少。Flash 這類的小模型不給用 (主要為免費用戶)，省流給客戶算力使用，Anthropic 就佔 350 萬顆。搜尋引擎這類搜廣用途用 v4 即可，但使用量非常大。 - 部分客戶等不到 TPU 閒置算力釋出而轉往 nv - 模型訓練的用戶評價正確與否是關鍵，用戶經常無法區分兩個模型之間幻覺狀況優劣。用戶更在意產出是否能快速理解，以及在反饋上的產出速度。模型商主推反饋速度，相對於幻覺更為重要 (因評分來自用戶體驗) - 第一梯隊之間的差距縮小頗多，第一與第二也收斂許多，主要差距在 Finance. Legal agent 這塊 (非獨立模型但獨立部門) - 3D 畫面生成也是上下梯隊差距主因，生成之立體資料可供給機器人訓練與科研用途 - 目前沒有全方面領先的模型，用戶給的 prompt 與資料. 使用者反饋資料訓練為差距主因 - 決定模型能力三大項 : 模型架構、模型算力、模型數據，中系算力充足，本地無法使用 nv 的卡，但可以租賃，6位數的卡量即可在第二梯隊站穩腳步 - 蒸餾模型現今開始有法律問題，中方依然利用問答前後對齊的方式節省訓練時間，目前有管道可以購買到使用者的軌跡來重新訓練，多數模型對於使用者而言已無明顯差距，主要就是上方提到的幾項 - 蒸餾會被固定答案限制住，中系正在尋找方法讓模型自己綜合思考並且回復最佳化 - Agent 目前使用都在簡單使用場景，幫忙訂位打電話之類，不須使用前沿模型，代理使用場景的重要性大於模型本身的能力 - 中系使用者最大的應用場景在搶票與關注票價與訂位。。。美系模型不認可這類應用，會明確拒絕 - Muse agent 在打電話訂位時會直接宣告自己是使用人而非AI，身分上與資安上有疑慮 - 晶片初創的生態主要還是看設計上是否有機會推動足夠高的ROI給客戶，在通用場景下並無太大的城牆阻礙 - 現有內存池已夠用，暫時也沒有必要推動到CXL，若要部屬前後端硬體都得適配於CXL協議 - 美方用戶已經在落地，注重於本地等資安問題 - 新舊模型的token消耗量是兩倍，以此邏輯去推算，算力增長並非一般線性。目前的IDC規畫仍是兩年前部屬的，後續codex的應用尚未下線，未來的算力依然緊張 QA - Q: Gemini 推出新款一個月後普遍降智，是什麼原因造成的？ Argon 之後還會出現這個問題嗎？ 面對龐大的使用者需求，是否會帶來沉重的算力成本負擔？ -A: Gemini 降智主因為算力緊張，系統會將模型優先從 max 退到 mid，以保留運算量給客戶。對用戶端而言目前都是虧損狀態，尤其是 Anthropic 與 OpenAI 提供的免費算力 - Q: 怎麼看 Jeff Dean 等資深工程師/管理階層離職的影響？怎麼看 GOOGL 要放棄前沿模型的競爭的傳聞 ? -A: 前者已不再屬名，主要影響為硬體端。Google 維持目前的營運方式。 - Q: 可否分享 AI for Science 的近況，模型商如何與生技公司、科技業合作？模型商是否會跟 Twist Bioscience 等公司購買生技數據？ -A: 模型瓶頸不在token，而在3D的建立上與數據 - Q: 在 Deepmind 的算力與未來新增算力低於 Anthropic＆OpenAI 之下，是否會讓 Gemini 競爭力下滑 ? 如果 Gemini 競爭力持續弱於 Anthropic/OpenAI 是否會影響 Google Cloud 生意？持續下滑？ -A: Anthropic拿到的算力量是遠大於Gemini的，絕對會有影響，Google 以套餐的方式做銷售，將 Anthropic 與 Gemini 打包出售 - Q: 怎麼看 Amazon 封殺 Muse 這件事？是否會影響未來 Agentic Commerce 的發展？ -A: 因為 Muse 的行為反饋較為激進所以封殺。美系 (Amazon) 也有利用一些協議去使用其他家公司的模型。 - Q: 先前 Google 與 SpaceX 簽訂 GPU 算力協議支援 Gemini Enterprise，可否分享一下外部客戶使用 GPU/TPU 的情境，以及 Google 會透過什麼方式讓外部客戶提高對 TPU 的使用量？ -A: Google v8 delay 問題相對比較嚴重，客戶購買力相當高，也有做金融擔保，Google 也有履約義務，綁定銷售。 - Q: 看好 Meta 透過 Muse 變現嗎？似乎消費者的付費意願遠不如 Coding 應用。在廣告轉換率上還會有透過 AI 模型提升的空間嗎？ -A: 北美目前免費的 agentic 選項只有 Muse，公司端則因為產品設計激進，為避免責任問題選擇不採用。個人使用上小生意是相當不錯的。 - Q: 怎麼看現在各家推出 Agentic AI 對算力需求增加的程度？會造成算力更加吃緊嗎？ -A: argon 算力緊張到內部目前已無法使用，外部客戶使用量相當大 - Q: 先前有傳聞 Anthropic 向 Google 接洽想收下目前 Deepmind 所有的 TPU 算力，想請問 Google 內部如何平衡自用和銷售的佔比？ -A: Fable 是完全建立於 TPU 之上的，算是半蒸餾，明年 Anthropic 的使用量會超過50%的TPU 以下是AI整理的資料 一、Argon 的定位與模型評估 評估模型時，會一起看 Artificial Analysis、LMArena 的 Elo 分數，以及使用者體感 單看分數看不出全貌，體感很重要 LMArena 有部分數據公開，評分人數多，相對可信，但不是絕對權威 Argon 這次的提升主要在 Agentic Coding Agentic Coding 的第一梯隊差距非常小，目前有 6 個模型並列第一 「並列」是指信賴區間重疊，也就是統計上無法區分 只看點估計的話，Argon 排第四 點估計高於 Argon 的有：Fable 5.1 Max、GPT SOL Max、Opus 5.5 Max 點估計低於 Argon 的有：Extra 6、Sonnet 5.5 Max 純看點估計，Opus 5.5 Max 仍然最好，和大家的體感一致 非 Agentic 任務看 LMArena 的 Text 榜，這是數十個項目的加權平均 Text 榜上 Argon 與 Meta Muse 的最大模型 Wonderful 並列第一 結論：Argon 在 Agentic 與非 Agentic 都屬第一梯隊，但沒有哪一項明顯勝出 二、Gemini 上半年落後、下半年追上的原因 第一梯隊大約有四家公司 現在要做出強 agentic 能力，趨勢是 harness 越做越薄，把能力內建到模型裡 這需要大量軌跡數據：用戶與 agent 互動的對錯過程、各種情況下的工具選擇 Codex、Claude Code 都會用去識別化的用戶數據訓練 兩者已修改用戶條款，屬於合規，而且沒有 retention 問題，不需要重新訓練模型 Gemini 的用戶條款規定不用任何 C 端數據訓練 網路上本來就沒有這類 agent 互動數據，如何合規取得是上半年最大的困擾 解法是用員工數據，再加上 2–3 家高品質的數據供應商補足 這就是上半年落後、下半年追上的原因 專家認為，Google 若肯像 Anthropic、OpenAI 一樣改條款，其實也可以用用戶數據 三、TPU 算力現況 Google 目前約有 700 多萬顆 TPU，另有約 100 萬顆 GPU，以及一些租用的 GPU 數字聽起來很多，但實際能用的很少 Argon 上線慢，主因是要調動算力 Gemini C 端已不讓用 Flash，全部改用 Flash-Lite 上週全球 rollout 完成，省下的算力本週拿去發布 Argon 算力分配大致如下： Anthropic：約 300–350 萬顆，以高階卡為主 Fable 系列在 TPUv7 上訓練，也在 TPUv7 上服務 搜尋、廣告、推薦（YouTube 等）：約 200 萬顆，用中低階 TPU（如 v4）就夠，但量很大 Gemini、AI Mode、AI Overviews 等 C 端：曾超過 100 萬顆，已砍掉免費用戶的算力 DeepMind 訓練：數十萬張 實際能用於推論的卡不多 很多客戶在排隊等 TPU，例如 Ilya 的 SSI，今年要預訓練並發布模型，等不到就轉向 NVIDIA 明年約 600–700 萬顆，晶片與數據中心都可能有 delay 更遠期不確定；最近 TPU v8i 的 delay 就是算力緊張的原因之一 四、大模型的發展水平 專家本身做模型訓練，目前最大的難題是讓用戶正確判斷 A、B 模型哪個好 Coding 場景已經很難評：像 Fable 5.1 Max 和 Opus 5.5 Max，試過各平台和員工評測，都分不出高下 在幻覺（正確率）這個指標上，頂級模型已無法區分 用戶現在更看重可讀性：輸出好不好懂、術語多不多 也很看重速度，第一梯隊實際上是在比誰更快 Fable 5.1 Max 其實很聰明，做科研的人明顯覺得它比 Opus 好 但 Fable 在 Agentic 榜（AA 或 LMArena）上從沒贏過 Opus 5.5，原因是速度與可讀性，不是幻覺 Coding 方面，第一梯隊和第二梯隊（包括很多開源模型）差距也不大 OpenCode 等 harness 對開源模型支援很好，模型好不好與 harness 高度相關 北美 Coding 領域：第一梯隊之間、以及一二梯隊之間，差距都越來越小，換 harness 後更明顯 五、非 Coding 領域差距仍大 程式設計師分不出模型好壞，也不太願意試新模型或自己測 金融和法律兩個行業非常願意持續升級，因為價值量很高 頭部 lab 針對金融與法律做了大量優化，例如 Finance Agent V2 榜，涵蓋會計、CFA 等，不只投資 這兩個領域，第一梯隊連 Medium 檔都遠強於第二梯隊 比喻：就像換手機，總有一群人每年都換 OpenAI 最激進，有專門部門做法律 agent，整合在 ChatGPT 裡而不是單獨產品 Gemini Enterprise 內建很多法律與金融 agent 金融法律的梯隊差距約一個世代 3D 生成與科學的差距約兩到三個世代： 3D：第一梯隊最弱的模型，也遠高於第二梯隊第一名 3D 能力最早由 Fable 5 帶起，做法是操作 Blender 這類工具來驗證 Argon、Extra、Opus 5.5 Max 已能生成極複雜的場景，例如 7-11 整間店的貨架與商品，可提供機器人訓練使用 科學：生命科學沒有好的榜單；物理、數學、OmniScience 等綜合榜顯示差距很大 因此做機器人、自駕、世界模型、遊戲、科學、金融法律的人，用頂級模型差異很大 但第二梯隊模型之間在 3D、科學上並沒有拉開；問題的 context 與 harness 可以補足一部分 沒有任何一個模型在所有方面都大幅領先 一年前各 lab 押注不同方向；今年從 Claude Code 4.6 起，所有 lab 都在學 Anthropic 架構、訓練方法、要做的東西都高度趨同，比的是執行力與數據，第一梯隊內部很難拉開差距 六、中國模型為何追得快 前沿 lab（如 Anthropic）的 Transformer 與經典版沒有大改，只有 sliding window attention 等優化，現在 coding agent 也能實作 模型能力取決於四項：架構、訓練方法、數據、算力 架構：沒有本質差異 算力： NVIDIA 卡在大陸無法大規模使用，但可以租 租到 10–20 萬張，就能在第二梯隊追得很緊 比 OpenAI、Anthropic 差一點，但與 Thinking Machines Lab、Mistral、早期的 Meta 相比並不吃虧 訓練方法： 矽谷公司因法律風險不蒸餾他人模型 中國模型可以蒸餾，做思維鏈、action、結果的對齊 可省下大量買數據、談數據標註的時間 數據：合規要求沒有矽谷高，也可以購買其他模型的用戶軌跡 人才：很多是同校畢業的華人研究員，頂尖人才可能少一些，但差距不大 結論：矽谷沒有壓倒性的獨門優勢；除了 3D、科學、金融法律，consumer 端差距不會很大 現在主要限制的是思維鏈蒸餾，但有些蒸餾方法不需要思維鏈 七、LLM 大眾化的門檻 用 coding agent 的人不到所有 LLM 用戶的 1% 一般用戶要的是助理、跑腿：搶票、訂活動、打電話 一般用戶不需要模型在 AA 排名很高；LMArena 的 Agentic 榜與 Text 榜排名也完全不同 大眾化的關鍵在產品設計，Muse 技術門檻不高，但產品設計很關鍵 實測比較（Muse 尚未在亞洲開放）： 人機驗證：Muse 會主動跳過，雖然遇到滑塊類驗證有時失敗；Gemini 等預設不會跳過；Grok、Dots 可以被說服，但很麻煩 盯價格：專家盯價格基本都用 Muse；Gemini Spark 每 6 小時盯一次會被委婉拒絕；Claude Code 排程盯價格會被明確拒絕，還會解釋為何不合規 打電話：Muse 剛上線時能打電話給客服，且不表明自己是 AI，語音也自然，客服會正常查價格、找優惠；現在美國已限制這項功能 Google 的 Call for Me 會表明自己是 AI，客服常直接掛斷 付款：Muse、Instinct 討論購物時會主動要支付方式，其他頭部模型不會 技術上，助理類任務最重要的是 browser use／computer use OSWorld 榜上 Extra 表現較好，Muse 不是最強，但產品最積極 結論：公司願意冒多大的風險，決定能搶到多少大眾用戶 八、AI 晶片初創公司 初創公司多在做推論 ASIC Opus、Fable、Argon 本身已具備文生圖、文生影片能力，Transformer 可能就是最終方案，所以 ASIC 有很大優勢 以前人要手寫程式時，CUDA 生態有優勢；現在 agent 會寫程式，例如專家不是 UI 工程師，也能讓 agent 修 Gemini 的 UI bug 生態系是給人用的，agent 不需要，所以 CUDA 的護城河會變低 關鍵在 ASIC 的 ROI、能否拿到足夠產能，以及能否提供完整的解決方案 模型還在持續變大 風險：若出現比 Transformer 更好的架構，ASIC 會受打擊；Jeff Dean 的 Discovery Lab 正用 RSI（遞迴自我改進）研究新架構 CUDA 是通用、API 導向的方案，比較不受架構變化影響 做大語言模型的研究者，用 TPU 或 GPU 沒太大差別 做世界模型、機器人、影片生成的研究者偏好 GPU，因為架構還沒定（VLA、Diffusion、Transfusion 等），用 GPU 實作論文最快 九、記憶體池與 CXL 記憶體池使用已非常廣泛，開源方案很成熟（SGLang、vLLM），輝達也有方案 Fireworks AI 雖不開源，也做得很好 記憶體可以分層：KV cache offload 到 DRAM，batch inference 時甚至可 offload 到 SSD 閉源方案的效率沒有比開源高很多，因此 DRAM 需求非常高 基於 CXL 的記憶體池還不多，因為需要端到端都支援 CXL，目前 GPU、TPU 的 CXL 硬體支援還不成熟 十、B 端落地 北美 B 端落地需要大量 FDE（前線部署工程師） 很多企業仍用傳統 SaaS 思維採購，但 token 成本很難估清楚 企業很重視安全，但模型公司自己也很難證明安全 企業會另外買安全方案，但這些方案的效果也很難證明 很多傳統企業還沒把 SaaS、API、SI 的評估方式改成 token 計價 Fireworks AI 支援開源模型 fine-tune，但很多北美企業 IT 連用 LlamaIndex、CrewAI 搭 harness 都沒經驗，所以需要 FDE 補這個缺口 十一、算力緊張會持續 下午三點以前，算力要調去做推論賺營收；晚上和週末才拿回來做訓練，短期難以解決 程式設計師雖然不常升級，但大約半年還是會升一次，不然落後太多 每次升級，同一任務的 token 用量都大增： Extra 6 與 SOL 5.6 的 high 版本：約 2 倍 Fable 5.1 Max 對比 Opus 4.8：約 2 倍 Gemini Flash 3.6 到 3.7：3 倍多 即使每次只有 10% 的程式設計師升級，算力消耗也會變成 2–3 倍 現在矽谷一人一天用 2–3 億 token 很正常，但在今年 1、2 月會被問是怎麼用的 工作內容沒有變，是 agentic 能力的提升靠消耗更多 token 換來的 數據中心大約是兩年前規劃的，但 Coding Agent 去年 10 月才爆發，供需不匹配 現在很多 TPU、GPU 甚至還無法通電，算力緊張會持續相當長時間 QA 應答 Q1 TPU 數量 專家對硬體不熟，只知道總量 明年約 700 萬顆上下，其中超過一半給 Anthropic Q2 Gemini 推出後降智 以前確實有，不是現在 Gemini 3.7、3.8 Flash 在榜單上是用 High 檔跑分，推出一週後預設 Thinking Level 都改成 Medium，API 也會降 Anthropic 的訂閱有時也會預設降到 Medium，使用者可能沒注意到 原因是算力緊張，想服務更多用戶；token 按輸入量和快取命中率計價，不看 Thinking Level 通常推出一週左右就會降；Argon 目前還沒降智，之後不確定 Gemini 3 是去年此時最好的模型，今年 1 月起換成蒸餾版，大約小三分之一，所以大家覺得從 1 月起變笨了 Fable 也有兩個模型：Fable 5.1 Max 是一個，一般 Fable 選 Max 檔是另一個，大小約差一倍 Artificial Analysis 榜上的是 Fable 5.1 Max 那個模型 很多用戶感受不出差別，但 C 端常有人說 Fable 不是以前的 Fable 了 Q3 C 端成本與算力 C 端大家都在虧損 各家都在打擊薅羊毛，損失最大的是 OpenAI 和 Anthropic，免費使用它們 token 的方法很多 Q4 Jeff Dean 離開的影響 他一直負責硬體，不負責模型 從 Gemini 2.5 之後，模型論文就沒有他的署名 很多架構設計是由他主導 他離開對硬體真的有影響，對模型本身影響不大 Q5 Tier 的定義 比較主觀：在 LMArena 能並列第一的就算 Tier1 有些模型介於 Tier1 尾端與 Tier2 開頭之間 Argon 在 Agentic 榜與其他 5 個模型並列第一，在 Text 榜與 Meta Muse Wonderful 並列，所以屬於 Tier1 Q6 AI for Science 現在主要是 AI for Life Science 瓶頸不在模型公司，而是需要大量實驗驗證 3D 進步快，是因為有 Blender 這類好的驗證器 AlphaFold 與 Twist 合作很緊密，做實驗驗證 Anthropic 自建實驗室（Bell Lab）做驗證 瓶頸不在 token 或模型，所以發展會比較慢 Q7 DeepMind 算力少於 Anthropic？會影響競爭嗎？ 同意這個說法：GCP 大幅傾斜給 Anthropic，Anthropic 拿的 TPU 比 Gemini 還多很多 Argon 一個多月前就做好了，因算力不夠才延後發布 更大的問題是 TPU v8i 的 delay 同意 Gemini 若競爭力弱於 Anthropic、OpenAI，會影響 Google Cloud Argon 主要對標 Extra 6 Max，在 LMArena 的 Agentic 與 Text 榜上，Argon High 都已勝過，目標達成 GCP 綁定 Anthropic：Gemini Enterprise、Gemini Agent 按 seat 銷售，內含 Anthropic 除 Fable 外的全部模型 用戶可以同時用 Gemini 和 Claude，但 harness 是 Gemini Enterprise 自己的 Q8 Amazon 封鎖 Muse 與 Muse 的設計過於激進有關 Amazon 允許 Google AI Mode 使用，因為雙方有協議 Gemini 功能保守，但會逐家談合作，例如 Starbucks、DoorDash、Uber Eats、Amazon、Spotify、Apple、一些遊戲 北美可以直接在 Gemini 裡下單，透過 UCP 實作 談得比較慢，目前約整合八九十家大公司 Muse 若想用 Amazon，應該也去談類似的協議 Q9 GCP 能否交付大量訂單 GCP 訂單是承諾消費訂單，客戶一定會付錢，有金融擔保 Google 有交付義務，交不出算力要負法律責任 現在正努力調算力 專家認為，很多問題來自 TPU v8i 延到年底，年底後算力會比較多 大客戶例子：Gemini Enterprise 最大客戶是 Intel，買了十幾萬個 seat，每個 seat 每月幾十美元 Seat 方案可用 Anthropic 除 Fable 外的所有模型，也包括 Argon，企業只需選擇要不要用 Anthropic，覺得划算 Google 一直在和 Anthropic 做綁定銷售 Q10 Meta Muse 如何變現 收訂閱費不容易，很多用戶習慣免費 北美能免費用的個人助理只有 Muse；其他要邀請碼（如 Instinct），或至少 100–200 美元（如 Grok、Gemini） 費用是原因之一，更關鍵的是 Muse 產品設計很激進，別家產品經理怕擔責任不敢做 廣告轉換還很遠，agent 任務軌跡能否用於廣告投放還很難說 專家身邊有人在 Instagram 開網店，例如賣自家烘焙給鄰居，喜歡在 Meta 生態裡用 Muse 做自動化 Q11 Argon 算力有多緊 從昨天下午起，Google 員工已不能用 Argon，只能用測試模型 原因是外部需求高、Argon 模型很大，事前沒準備那麼多算力 Q12 B 端與 agentic 用量 B 端是承諾消費，必須保證算力；Anthropic 的部分也要保證，能調度的空間很少 Coding 一定用很多；一般 agentic 使用，例如每幾小時查一次票價，還可以 非正常使用會造成大量浪費 例如 Gemini 正在打擊共享帳號：大陸有人把 200 美元的 Gemini 帳號拆成單次問答在淘寶賣，每月營收一萬人民幣以上 Q13 Anthropic 的算力需求 Anthropic 需要大量算力，Fable 是在 TPU 上做的 Opus 是由 Fable 半蒸餾出來的 student model 明年 Anthropic 約拿 50% 多的 TPU，可能已是能支援的上限 目前沒有好的解法 DeepMind 做訓練約六七十萬片，以 v6、v7 為主