AI芯片“最強(qiáng)輔助”HBM,發(fā)展到哪一步?| 研報(bào)推薦
混合鍵合與TSV是3D封裝的核心,HBM“連接”與“堆疊”帶來(lái)設(shè)備材料端發(fā)展新機(jī)遇。
注:原文為華金證券《HBM迭代,3D混合鍵合成設(shè)備材料發(fā)力點(diǎn)》,分析師:孫遠(yuǎn)峰、王海維
隨著英偉達(dá)的市值沖破2萬(wàn)億美元,英偉達(dá)的股票一夜間成了世界上最值錢(qián)的商品。
而這還遠(yuǎn)不是英偉達(dá)市值的極限,靠著向全世界售賣(mài)高性能GPU,英偉達(dá)的壟斷地位仍會(huì)持續(xù)下去。
但另一方面,高性能GPU供不應(yīng)求的情況始終得不到好轉(zhuǎn),其背后原因之一——存儲(chǔ)大廠的HBM(高帶寬內(nèi)存)顯存產(chǎn)能提不上來(lái),嚴(yán)重影響了英偉達(dá)的產(chǎn)能。
HBM顯存并不是什么新鮮事物,對(duì)比消費(fèi)線常見(jiàn)的GDDR顯存,前者價(jià)格相當(dāng)昂貴,基本只在高密度計(jì)算集群中使用。
不過(guò)隨著AI芯片需求不斷增加,存儲(chǔ)巨頭開(kāi)始全力沖刺HBM技術(shù),HBM顯存的性能與使用場(chǎng)景都有顯著提升。
目前擁有第五代HBM3E技術(shù)的SK海力士已經(jīng)拉滿了2024年的產(chǎn)能,同為存儲(chǔ)大廠的三星與美光同樣全力為英偉達(dá)供貨。
那么作為AI芯片“最強(qiáng)輔助”的HBM,究竟強(qiáng)在哪里?
在華金證券推出的半導(dǎo)體行業(yè)深度報(bào)告《HBM迭代,3D混合鍵合成設(shè)備材料發(fā)力點(diǎn)》里,分析師從“設(shè)備材料”的角度深度分析了HBM的最新情況。
以下為研報(bào)內(nèi)容精選:
什么是HBM?
·CPU與存儲(chǔ)之間,存在著“內(nèi)存墻”
隨著摩爾定律的不斷迭代,CPU運(yùn)行速度快速提升,目前CPU主頻高達(dá)5GHz,而DRAM內(nèi)存性能取決于電容充放電速度以及DRAM與CPU之間的接口帶寬,存儲(chǔ)性能提升遠(yuǎn)慢于CPU,DRAM內(nèi)存帶寬成為制約計(jì)算機(jī)性能發(fā)展的重要瓶頸;
一般來(lái)說(shuō),DDR4內(nèi)存主頻為2666~3200MHz,帶寬為6.4GB/s,但是在AI應(yīng)用中(高性能計(jì)算/數(shù)據(jù)中心),算力芯片的數(shù)據(jù)吞吐量峰值在TB/s級(jí),主流的DRAM內(nèi)存或顯存帶寬一般為幾GB/s到幾十GB/s量級(jí),與算力芯片存在顯著的差距, “內(nèi)存墻”由此形成。
以Transformer類模型為例,模型大小平均每?jī)赡攴?10倍,而AI硬件上的內(nèi)存大小僅僅是以每年翻2倍的速率在增長(zhǎng);
此外,內(nèi)存墻問(wèn)題不僅與內(nèi)存容量大小有關(guān),也包括內(nèi)存的傳輸帶寬——目前的內(nèi)存容量和傳輸?shù)乃俣榷即蟠舐浜笥谟布挠?jì)算能力。
一般來(lái)說(shuō),傳統(tǒng)DRAM需要大量空間與CPU/GPU等處理器通信,同時(shí)封裝的形式看需要通過(guò)引線鍵合或PCB進(jìn)行連接,因此DRAM不可能對(duì)海量數(shù)據(jù)進(jìn)行并行處理。
·HBM概念
隨著2.5D/3D系統(tǒng)級(jí)封裝(SiP)和硅通孔(TSV)技術(shù)日益 成熟,為高帶寬、大容量的存儲(chǔ)器產(chǎn)品提供基礎(chǔ);
而高帶寬存儲(chǔ)器HBM(Highband Memory),使用硅通孔TSV和微凸塊技術(shù)垂直堆疊多個(gè)DRAM,因此可以顯著提升數(shù)據(jù)處理速度,同時(shí)性能提升的同時(shí)尺寸有所減少;
從2013年開(kāi)始,JEDEC制定了高帶寬存儲(chǔ)器系列標(biāo)準(zhǔn)(包括 HBM,HBM2,HBM2E,HBM3),其中,HBM3相比2代標(biāo)準(zhǔn)有顯著提升,芯片單個(gè)引腳速率達(dá)到6.4Gbit/s,總帶寬超過(guò)1TB/S。
·HBM特點(diǎn)
HBM2E和HBM3的單引腳最大輸入/輸出(I/O)速度分別達(dá)3.2Gbit/s和6.4Gbit/s,低于GDDR5存儲(chǔ)器的7Gbit/s,但HBM的堆棧方式可通過(guò)更多的I/O數(shù)量使總帶寬遠(yuǎn)高于GDDR5;例如HBM2帶寬可以達(dá)到307 GB/s;
海力士官網(wǎng)數(shù)據(jù)顯示:HBM3E的數(shù)據(jù)處理速度,相當(dāng)于可以在1s內(nèi)下載230部全高清(FHD)級(jí)電影(每部5千兆字節(jié),5GB),優(yōu)化后可用于處理人工智能領(lǐng)域的海量數(shù)據(jù)。
同時(shí),由于采用微凸塊和TSV技術(shù),存儲(chǔ)和算力芯片信號(hào)傳輸 路徑短,單引腳I/O速率較低,使HBM具備更好的內(nèi)存功耗能效特性;
以DDR3存儲(chǔ)器單引腳I/O帶寬功耗為基準(zhǔn),HBM2的I/O功耗比明顯低于DDR3/DDR4和GDDR5,相比于 GDDR5存儲(chǔ)器,HBM2的單引腳I/O帶寬功耗比數(shù)值降低42%。
總體來(lái)說(shuō),HBM的技術(shù)特點(diǎn):1、高速;2、高帶寬;3、更低功耗。
同時(shí),HBM又具備可擴(kuò)展容量的結(jié)構(gòu)特點(diǎn)。具體如圖:
AI算力快速迭代,HBM為最強(qiáng)輔助
隨著美國(guó)商務(wù)部工業(yè)與安全局 (BIS)針對(duì)高算力芯片管控指標(biāo)不斷升級(jí),增加了先進(jìn)計(jì)算最終用途管控,AI算力的高需求帶動(dòng)HBM成最強(qiáng)“輔助”,主要體現(xiàn)在HBM的供給側(cè)趨勢(shì)。
1、從三大家HBM供給側(cè)趨勢(shì)看,HBM3及以上版本逐漸成為主流,從容看24GB/32GB逐漸替代16GB成為主流配置;
2、HBM4預(yù)計(jì)于2026年開(kāi)始量產(chǎn);
3、工藝節(jié)點(diǎn)看,HBM3e 三星和海力士的制程節(jié)點(diǎn)為1 alpha,美光為 1 beta;
4、海力士與三星占據(jù)主要市場(chǎng)份額;
5、假設(shè)2023年和2024年HBM單價(jià)分別為15美元/12美元,2024年HBM市場(chǎng)規(guī)模預(yù)計(jì)為120億美元。
此外,英偉達(dá)、谷歌、AMD、AWS等科技巨頭的HBM使用量有明顯上升。
“連接”與“堆疊” ,3D混合鍵合成HBM新趨勢(shì)
HBM制造的核心,包括TSV和封裝,垂直堆疊等技術(shù)。
根據(jù)《半導(dǎo)體工藝與設(shè)備 》介紹,TSV不采用傳統(tǒng)的布線方法來(lái)連接芯片與芯片,而是通過(guò)在芯片上鉆孔并填充金屬等導(dǎo)電材料以容納電極來(lái)垂直連接芯片。
在制作帶有TSV的晶圓后,通過(guò)封裝在其頂部和底部形成微凸塊,然后連接這些凸塊。由于 TSV 允許凸塊垂直連接,因此可以實(shí)現(xiàn)多芯片堆疊。
目前HBM的堆疊技術(shù)包括MR-MUF以及TC-NCF等;
其中,MR-MUF(向上堆疊方式,Mass Reflow – Molded Underfill),是指將半導(dǎo)體芯片堆疊后,為了保護(hù)芯片和芯片之間的電路,在其空間中注入液體形態(tài)的保護(hù)材料,并固化的封裝工藝技術(shù)。
與每堆疊一個(gè)芯片鋪上薄膜型材料的方式對(duì)比,工藝效率高,散熱方面也更有效;
具體步驟:
1、連接芯片的微凸塊采用金屬塑封材料;
2、一次性融化所有的微凸塊,連接芯片與電路;3)芯片與芯片之間或者芯片與載板之間的間隙填充,絕緣和塑封同時(shí)完成。
而TC-NCF(Thermo Compression – Non-Conductive Film,非導(dǎo)電薄膜),是一種在芯片之間使用薄膜進(jìn)行堆疊的方法,與MR-MUF相比,該互連技術(shù)導(dǎo)熱率較低;速度較慢;
此前,SK 海力士在HBM2e中使用 TC-NCF。
而到了HBM4時(shí)代后,海力士正在加速開(kāi)發(fā)新工藝“混合鍵合”(Hybrid Bonding ),并將成為未來(lái)新趨勢(shì)。
截止目前, HBM的DRAM芯片之間通過(guò)“微凸塊”材料進(jìn)行連接,通過(guò)混合鍵合,芯片可以在沒(méi)有凸塊的情況下連接,從而顯著減小芯片的厚度;
當(dāng)間距小到20um以內(nèi),熱壓鍵合過(guò)程中細(xì)微傾斜使得釬料變形擠出而發(fā)生橋連短路,難以進(jìn)一步縮減互聯(lián)間距;
HBM芯片標(biāo)準(zhǔn)厚度為720um,預(yù)計(jì)2026年左右量產(chǎn)的第六代HBM4需要縱向垂直堆疊16層DRAM芯片,當(dāng)前的封裝技術(shù)很難讓客戶滿意,所以混合鍵合的應(yīng)用被認(rèn)為是必然的趨勢(shì);
2023年海力士用于第三代HBM產(chǎn)品(HBM2e)測(cè)試混合鍵合技術(shù),規(guī)格低于HBM4產(chǎn)品;
同時(shí)海力士擬計(jì)劃將新一代的HBM與邏輯芯片堆疊在一起,取消硅中介層。
·混合鍵合定義:
1、混合鍵合是一種永久鍵合,將介電鍵合(SiOx)與嵌入式金屬(Cu)結(jié)合起來(lái)互聯(lián),形成電介質(zhì)和金屬-金屬鍵;
2、使用緊密嵌入電介質(zhì)中的微小銅焊盤(pán)可以提供比銅微凸塊多1000倍的I/O連接。支持3D封裝和先進(jìn)的存儲(chǔ)立方體更高的互連密度;
3、混合鍵合可以實(shí)現(xiàn)低于10um的鍵合間距,當(dāng)接近10um尺寸時(shí),帶有焊錫尖端的銅凸塊會(huì)遇到可靠性問(wèn)題,從而導(dǎo)致轉(zhuǎn)向混合鍵合。
按照分類,混合鍵合又可以分類成:
1、晶圓到晶圓(Wafer-to-Wafer):兩個(gè)制造好的晶圓直接鍵合在一起,W2W提供更高的對(duì)準(zhǔn)精度、吞吐量和鍵合良率,目前絕大多數(shù)混合鍵合通過(guò)W2W完成,比較典型的是長(zhǎng)江存儲(chǔ)3D NAND Xstacking技術(shù)的突破;
2、芯片到晶圓(Die-to-Wafer):將切割好的Die貼到另
一個(gè)完成的晶圓上,與晶圓上的Die實(shí)現(xiàn)鍵合,可以分為兩類:
可以按順序一顆一顆放置到另一片產(chǎn)品晶圓的對(duì)應(yīng)位置上,位置精度會(huì)提高;將切割好的Die用臨時(shí)鍵合的方式粘貼到Carrier晶圓上,整個(gè)晶圓與另一片晶圓鍵合再解鍵合,類似傳統(tǒng)的W2W。
兩者進(jìn)行相比:
W2W鍵合是相對(duì)成熟的工藝,也不是特別昂貴,目前,W2W鍵合可以實(shí)現(xiàn)50nm以下的對(duì)準(zhǔn)精度,W2W存在的主要問(wèn)題是無(wú)法選擇已經(jīng)良好的芯片(KGD)進(jìn)行封裝,會(huì)導(dǎo)致將有缺陷的芯片貼合至優(yōu)質(zhì)芯片,從而導(dǎo)致優(yōu)質(zhì)芯片的損失,所以W2W一般應(yīng)用于良率非常高的晶圓;
而D2W方式可以應(yīng)用良率相對(duì)較差但仍然具備商業(yè)價(jià)值的產(chǎn)品,D2W在鍵合方面更具挑戰(zhàn)性,因?yàn)槊總€(gè)晶圓都需要更多的鍵合步驟,會(huì)引入顆粒污染。
(更多內(nèi)容請(qǐng)參考研報(bào)原文)
最后,記得關(guān)注微信公眾號(hào):鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關(guān)注技術(shù)驅(qū)動(dòng)創(chuàng)新
