Stock LLM Wiki

memo_ECOC2026_群益會後分享_20261006

20261006
歐洲光通大展ECOC 2026會後分享 Memo 資料來源:群益投顧

Google, AI Infra與搜尋已經有非常多代的迭代。

現在運算能力夠強,Agent已經能夠24小時工作。

Server 2年回本, TPU一年就可以回本,這是少數大型基礎建設具有的高回報率,顯示AI需求很強。

目前運算成本約1500萬美金 Per Mega Watt,Anthropic的Fable 5, Opus5模型出來以後,每Mega Watt營收約5000萬美元,所以願意付出大筆租金向SpaceX租算力。

最前緣的模型非常有價值,應用於IC設計、財務、法律,所以Open AI與Anthropic才能用模型收到這麼多錢。Broadcom說明用AI模型避免光罩改版,省下6個月時間與3000萬美元的成本。

ECOC本次大會主要討論Scale-Up,究竟要用甚麼方式實現。

Scale-Up,為了要支援未來至少3兆參數的大模型,一個機櫃72顆GPU已經不足,所以需要576顆GPU的Cluster,騰訊想串接512顆GPU,華為想串接384個GPU,下一代1024甚至4096顆,

Google把訓練與推論處理器分開,Topology由改用Dragonfly取代Taurus,可以大幅縮短延時。

OCS有95%是Google在用,目前最大的CSP用戶。

Broadcom,Tomahawk 7可以串起1024顆XPU,每顆XPU頻寬25.6T,以200G per lane頻寬計算,需要128根光纖,整個BiDi光傳輸系統需要131072根光纖。

200G Per Lane用銅線傳輸約2.5公尺,400G距離更是減半,銅線在高速傳輸已走不動。

光纖越多就需要越多連接器,光纖裝置時需要乾淨環境,清潔成為決定安裝時間的一大因素,所以EBO連接器應運而生,EBO連接器能把Beam Size放大到80 micron meter。

TSMC COUPE Beam Size約35~40 micron meter

400G達成方式,快而窄或是慢而寬,光訊號很難用PAM6,電訊號可以用PAM6,所以目前400G光與電還沒決定要用什麼調變。

NPO訊號要穿過Substrate到PCB,就損失掉8~9 dB,來回就吃掉約20 dB,所以光引擎要盡可能接近XPU,CPO才是最終解決方案。

NPO的OE安裝在PCB或HDI板上,CPO安裝在Substrate或Interposer上,

NPO用BGA連接,有較大的電容,高功耗、速度較CPO低。

TSMC CoWoS,Silicon Interposer密度、速度最高,但是做不大,所以有CoWoS-L,高速區用Silison Interposer,其他部分用Epoxy,可以做大面積,但是容易產生翹曲。

Hybris Bump直接用銅連接,密度可以100000/mm^2,功耗約0.1 pJ/bit,所以用在OE的PIC與EIC接合。

Meta與Broadcom合作測試CPO,可靠性是可插拔的10倍以上,省下65%能源,訓練效率提升90%。

Optical Backplane已經在OCP提出

XPO,整合8個TRX進入一個,與原來可插拔架構一樣,耗能也一樣,也需要使用DSP,高價又高耗能。

NPO,因為Open CPX提出MSA,有6.4T, 7.2T不同版本,Innolight展出模組內整合矽光子光源的NPO模組。內置雷射可以簡化封裝,也不需要使用保偏光纖。但是NPO很難做到12.8T

華為的態度偏向NPO。

CW Laser一定要用InP基板,VCSEL可以用GaAs基板,產能較大,但是VCSEL需要用更多的光纖,而且200G 850nm速度可能是極限。1060nm VCSEL還沒看到200G,Lumentum認為1060nm VCSEL可靠度較高。VCSEL array的密度不夠高是頻寬的瓶頸。

VCSEL NPO最大的問題是高熱,以及多芯光纖能不能做出來。用多模光纖成本非常高,所以Nvidia的VCSEL光源專案就停下來。

Lumentun用115度來算可靠度,說 850nm VCSEL不可靠,2000小時就Fail,但是現在機櫃環境可以裝散熱,用85度評估環境就可以,而且1060nm VCSEL還需要特殊光纖,成本更高。

單模光纖公差容忍小於5 micro meter,所以二維光纖陣列非常難做,多模光纖容忍度高,二維光纖陣列較好做。

Coherent開發出37芯光纖陣列,也有200G PD,200G VCSEL,目前只能做到12GB/mm的頻寬,密度太低。

全球CSP才是真正是不是採購的決策者,這10~20個決策者只會買風險最低的選項,因為光傳輸佔資料中心成本不高。

新技術不是把規格最到最好,而是讓客戶導入新產品時風險降到最低,所以多樣光傳輸規格會共存。

Agent上來,傳輸需求會增加,誰光互連能量產,誰的風險最低,誰就會贏。

Coherent的矽光NPO,CW Laser需求100mw就能做到。

NV給天孚的NPO數量是1500萬顆。

目前 Nvidia給TSMC每個月500片晶圓,每片約600顆3.2T光引擎,每個月約30萬顆光引擎。 Insertion 1 是TSMC用 Advantest + Formfactor來測,預期2026年底裝機58台。

Insertion 2 EIC+PIC+ Micro Lens,上電下光方案,由FiconTEC +Terydyne負責,Beam size約3~4 Micron所以難測。

Insertion 3是FiconTEC來做,目前有四台機檯,每台一天只能測500顆,現在有第二供應商致茂,致茂方案比Formfactor效能更好。

Insertion 4 測試是鴻勁 +致茂。

FAU測試原來是用ADS Tech,現在正在Qualify另外二家,萬潤與MRSI。

現在測試裝機產能,光引擎要從目前月產能30萬顆,擴到1200萬顆。應該是為了NV大規模光互聯要用。

========Q&A======= 目前OE貼FAU良率約98~99%

NPO,目前只有Open CPX的規格,6.4T, 7.2T二種版本,應用在100T的Switch。

光進銅退趨勢明確,尤其Agent上線後,大型Scale-Up應對算力需求大漲是非常急迫的需求。

CPO一定會用到 TSMC COPUE,NPO就不一定,向是Innolight就用Tower的解決方案

NV與Broadcom會用NPO沒問題,NPO是中國用較多,Meta雖然用Broadcom CPO,但是還是偏向OCP開放規格,不會只壓一家,AWS目前進度較慢。

OIO晶片光互聯,目前Nvidia還在實驗室嘗試,可能Feyman可能有機會。

2026年資料中心建置約5~7 GW,2027年建置更多,光互連使用量會增加。

因為大模型參數來到10T,所以需要多機櫃Scale-Up,串聯起72 x 8= 576 顆GPU。

Coherent VCSEL NPO模組製造最大的良率瓶頸可能是光纖與FAU的組裝。

現在SOI PIC代工價,8吋約 5000 USD,12吋約10000 USD。