單芯片功耗2200W，帶寬32TB/s：HBM如何撐起萬(wàn)億參數(shù)AI時(shí)代？
發(fā)布日期:2025-08-28
點(diǎn)擊次數(shù):76
在人工智能(AI)與數(shù)據(jù)中心需求的驅(qū)動(dòng)下，高帶寬內(nèi)存(HBM)被譽(yù)為AI時(shí)代的“新石油”，也正掀起下一代“存儲(chǔ)革命”。
隨著AI模型的復(fù)雜度和規(guī)模不斷提升，尤其是生成式AI和大模型訓(xùn)練對(duì)算力的需求激增，數(shù)據(jù)中心對(duì)高性能存儲(chǔ)的需求也日益迫切。而HBM通過(guò)垂直堆疊多個(gè)DRAM芯片，結(jié)合硅通孔(TSV)技術(shù)，實(shí)現(xiàn)了遠(yuǎn)超傳統(tǒng)DDR或GDDR的帶寬和容量，從而有效緩解了AI芯片面臨的“存儲(chǔ)墻”問(wèn)題。
HBM技術(shù)作為下一代高性能計(jì)算和人工智能應(yīng)用的核心技術(shù)，其技術(shù)路線圖和最新發(fā)展動(dòng)態(tài)備受關(guān)注。近期，韓國(guó)科學(xué)技術(shù)院(KAIST)旗下的Terabyte Interconnection and Package Laboratory(TERALAB)發(fā)布了關(guān)于HBM的研究成果。這項(xiàng)研究成果由被業(yè)內(nèi)部分人士譽(yù)為“HBM之父”的金正浩教授主導(dǎo)完成，詳細(xì)闡述了HBM的未來(lái)路線圖，揭示了HBM4到HBM8的諸多技術(shù)細(xì)節(jié)，將為未來(lái)數(shù)據(jù)中心和AI應(yīng)用提供強(qiáng)大的技術(shù)支撐。
與此同時(shí)，受到AI和高性能計(jì)算(HPC)需求的驅(qū)動(dòng)，尤其是在英偉達(dá)、AMD和英特爾等芯片巨頭的推動(dòng)下，HBM市場(chǎng)正迎來(lái)新一輪的升級(jí)和競(jìng)爭(zhēng)。而存儲(chǔ)原廠如SK海力士、三星和美光科技也正積極推進(jìn)HBM4的量產(chǎn)。值得注意的是，日本軟銀近日也宣布與英特爾合作開(kāi)發(fā)一款新型堆疊式DRAM芯片，其設(shè)計(jì)不同于現(xiàn)有的HBM，預(yù)計(jì)可將電力消耗減少約50%。
以上發(fā)展動(dòng)態(tài)和行業(yè)趨勢(shì)，不僅反映了AI和HPC需求的增長(zhǎng)，也預(yù)示著HBM市場(chǎng)將迎來(lái)更加激烈的競(jìng)爭(zhēng)和更快的技術(shù)迭代。然而，HBM的發(fā)展仍面臨產(chǎn)能瓶頸、封裝技術(shù)難題以及成本壓力等多重挑戰(zhàn)。未來(lái)，隨著技術(shù)的不斷進(jìn)步和市場(chǎng)的持續(xù)擴(kuò)張，HBM有望在AI和高性能計(jì)算領(lǐng)域發(fā)揮更加重要的作用，推動(dòng)整個(gè)存儲(chǔ)產(chǎn)業(yè)邁入新的發(fā)展階段。
AI需求爆發(fā)：HBM增長(zhǎng)的核心驅(qū)動(dòng)力
進(jìn)入2025年，全球科技巨頭在AI數(shù)據(jù)中心的投資與布局顯著加速。
目前，AI算力集群的建設(shè)和數(shù)據(jù)中心的規(guī)劃，以科技公司的業(yè)務(wù)導(dǎo)向?yàn)橹鳎缥④浽?、亞馬遜AWS、Google Cloud、阿里云、騰訊云等，通過(guò)AI賦能應(yīng)用加速推動(dòng)用戶上云的需求，或像Meta、特斯拉等擁有海量數(shù)據(jù)和AI需求的公司，自建龐大的專用AI集群，其目的主要是服務(wù)自身業(yè)務(wù)。
今年1月，包括OpenAI、軟銀(SoftBank)、甲骨文(Oracle)和中東人工智能基金MGX等在內(nèi)的美國(guó)政府和多家科技巨頭合作啟動(dòng)了“星際之門(mén)計(jì)劃”。該項(xiàng)目計(jì)劃在未來(lái)四年內(nèi)投資高達(dá)5000億美元，其中首期投資為1000億美元。
與此同時(shí)，亞馬遜、微軟、谷歌和Meta等科技巨頭也將在2025年進(jìn)一步擴(kuò)大在AI數(shù)據(jù)中心的投資，以支持云計(jì)算和AI服務(wù)的擴(kuò)展。據(jù)CFM統(tǒng)計(jì)，2025年大型云服務(wù)商微軟、谷歌、亞馬遜和Meta的資本支出總額將超過(guò)3200億美元，同比增幅將達(dá)到30%。
其中，微軟計(jì)劃在2025財(cái)年投資800億美元用于AI數(shù)據(jù)中心，其中一半以上的支出將在美國(guó)。亞馬遜預(yù)計(jì)增加約3成，達(dá)到1000億美元左右，主要用于AI相關(guān)業(yè)務(wù)。谷歌母公司Alphabet的資本支出則將從2024年的525億美元增至約750億美元，主要用于AI基礎(chǔ)設(shè)施，如服務(wù)器和數(shù)據(jù)中心。Meta也計(jì)劃投資600億至650億美元。
Meta CEO扎克伯格甚至表示，2025年是“人工智能的決定性一年”。
盡管DeepSeek R1發(fā)布之后，人工智能的發(fā)展重心正從模型訓(xùn)練向?qū)嶋H推理應(yīng)用轉(zhuǎn)移，同時(shí)也在一定程度上緩解了行業(yè)算力焦慮，但“算力至上”的共識(shí)似乎仍沒(méi)有打破，也未真正動(dòng)搖美國(guó)“星際之門(mén)”計(jì)劃的基礎(chǔ)。
值得關(guān)注的是，除了中美歐之外，中東國(guó)家也在加大AI數(shù)據(jù)中心的投資與布局，特別是沙特阿拉伯和阿聯(lián)酋，正在通過(guò)大規(guī)模投資數(shù)據(jù)中心和AI基礎(chǔ)設(shè)施，推動(dòng)本國(guó)的數(shù)字化轉(zhuǎn)型和經(jīng)濟(jì)增長(zhǎng)。根據(jù)SemiAnalysis預(yù)測(cè)，到2030年，中東地區(qū)數(shù)據(jù)中心運(yùn)營(yíng)容量或?qū)⒊^(guò)6GW，并仍可能有顯著的上升空間。僅阿聯(lián)酋的G42就計(jì)劃在2026年訂購(gòu)數(shù)十萬(wàn)顆GPU。
在AI數(shù)據(jù)中心的資本支出持續(xù)增長(zhǎng)的同時(shí)，HBM的需求也將經(jīng)歷“爆發(fā)式”增長(zhǎng)。根據(jù)Yole Group的預(yù)測(cè)，主要用于AI的HBM市場(chǎng)營(yíng)收將從2024年的170億美元增長(zhǎng)到2030年的980億美元，年復(fù)合增長(zhǎng)率高達(dá)33%。SK海力士預(yù)計(jì)，到2025年其HBM銷售額將占其總內(nèi)存銷售額的50%以上，該公司與美光科技的HBM產(chǎn)能在2025年均已完全分配完畢。
值得一提的是，HBM技術(shù)正從數(shù)據(jù)中心向移動(dòng)終端等邊緣設(shè)備擴(kuò)展。其中，移動(dòng)HBM通過(guò)堆疊LPDDRDRAM來(lái)增加內(nèi)存帶寬，同時(shí)保持低功耗，適合移動(dòng)終端的高性能需求。三星和SK海力士就分別開(kāi)發(fā)了VCS和VFO技術(shù)，以實(shí)現(xiàn)移動(dòng)HBM的量產(chǎn)。未來(lái)HBM在移動(dòng)大模型終端中的應(yīng)用將普及，如AI手機(jī)、AI PC等設(shè)備對(duì)內(nèi)存性能的要求不斷提高。最近有消息稱，2027年20周年紀(jì)念版iPhone將帶來(lái)多項(xiàng)創(chuàng)新，HBM技術(shù)預(yù)計(jì)被引入。而華為也打算將HBM技術(shù)引入到智能手機(jī)，甚至?xí)r間可能比蘋(píng)果更早。
此外，HBM在智能汽車(chē)中的應(yīng)用也在不斷拓展。智能汽車(chē)對(duì)實(shí)時(shí)數(shù)據(jù)處理、高分辨率圖像處理和數(shù)據(jù)存儲(chǔ)等需求較高，而HBM恰好能夠滿足這些需求。比如，SK海力士的HBM2E已用于谷歌旗下的Waymo自動(dòng)駕駛汽車(chē)。
不過(guò)，HBM在移動(dòng)設(shè)備和PC等邊緣設(shè)備中的應(yīng)用仍面臨一些挑戰(zhàn)，其中成本較高是主要問(wèn)題之一。
HBM技術(shù)演進(jìn)：從HBM3E到HBM4
HBM技術(shù)自2015年推出以來(lái)，已經(jīng)歷了從HBM1到HBM3e的多次迭代，并正在向HBM4邁進(jìn)。HBM4作為第六代HBM產(chǎn)品，將在多個(gè)方面實(shí)現(xiàn)重大技術(shù)突破，包括更高的帶寬、更大的容量、更低的功耗以及更先進(jìn)的封裝技術(shù)。
HBM3e是HBM3的擴(kuò)展版本，在帶寬、容量和能效方面相比HBM3有顯著提升，在2024年由美光科技、SK海力士等頭部廠商量產(chǎn)，是AI加速卡的標(biāo)配內(nèi)存。
根據(jù)TrendForce的預(yù)測(cè)，2025年HBM3E的市場(chǎng)需求將大幅增長(zhǎng)，尤其是在AI芯片迭代加速的背景下，HBM3E的單位用量和單芯片容量將顯著提升。HBM3E采用24Gb單晶芯片堆棧，并支持8層(8-Hi)和12層(12-Hi)配置，單個(gè)HBM3E芯片的容量可達(dá)24GB，這將為AI服務(wù)器和高性能計(jì)算提供更強(qiáng)的算力支持。
毫無(wú)疑問(wèn)，英偉達(dá)是HBM市場(chǎng)的最大買(mǎi)家，2025年推出的Blackwell Ultra系列GPU將全面搭載HBM3E，其中B200系列將采用HBM3E 8-Hi配置，Blackwell Ultra則可能采用8顆12-Hi HBM3E，進(jìn)一步提升其算力密度。TrendForce預(yù)測(cè)，2025年英偉達(dá)在HBM3E市場(chǎng)的采購(gòu)比重將突破70%，甚至可能達(dá)到85%以上。此外，英偉達(dá)在2025年推出的GB200系列，進(jìn)一步推動(dòng)HBM3E的市場(chǎng)普及。
今年6月，AMD在2025全球AI發(fā)展大會(huì)發(fā)布的最新Instinct MI350系列GPU，支持128條HBM3E內(nèi)存通道，每顆HBM3E的單顆容量提升至36GB，總體內(nèi)存容量達(dá)到288GB，內(nèi)存帶寬提升至8TB/s，實(shí)現(xiàn)了4倍的AI計(jì)算能力提升和35倍的推理性能飛躍。
由此可見(jiàn)，HBM3E將成為2025年HBM市場(chǎng)的主流產(chǎn)品，其需求也將顯著增長(zhǎng)。
表1：HBM3E與HBM4關(guān)鍵性能對(duì)比
而HBM4則是HBM3e的“繼任者”，預(yù)計(jì)將在2026年大規(guī)模量產(chǎn)應(yīng)用，其設(shè)計(jì)目標(biāo)直指“帶寬翻倍、容量倍增、能效再優(yōu)化”，以滿足萬(wàn)億參數(shù)AI模型需求。
在核心技術(shù)上，HBM4的I/O數(shù)量從1024增至2048位，通過(guò)增加TSV數(shù)量并縮小凸塊間距實(shí)現(xiàn)，使傳輸速度翻倍。這將是HBM技術(shù)自2015年以來(lái)的最大變化。同時(shí)，HBM4首次采用邏輯-內(nèi)存異構(gòu)架構(gòu)，基礎(chǔ)層(Base Die)由晶圓代工廠(如臺(tái)積電)以3－7nm工藝制造，支持可定制化加速功能。此外，HBM4利用混合鍵合取代傳統(tǒng)熱壓鍵合(TCB)，實(shí)現(xiàn)＜1μm凸點(diǎn)間距，提升層間互連密度并降低功耗。
目前，英偉達(dá)和AMD均已確認(rèn)在其下一代產(chǎn)品(如英偉達(dá)的Rubin和AMD的Instinct MI400)中采用HBM4技術(shù)。其中，英偉達(dá)的Rubin GPU將采用8個(gè)HBM4，而高端的RubinUltra則會(huì)配備16個(gè)HBM4。Rubin的GPU裸片面積預(yù)計(jì)為728mm2，單顆裸片功耗800W，其搭載的HBM4內(nèi)存總?cè)萘靠蛇_(dá)288－384GB，總帶寬16－32TB/s，整個(gè)芯片功耗2200W。而AMD的Instinct MI400則更進(jìn)了一步，計(jì)劃提供高達(dá)432GB的HBM4內(nèi)存容量，內(nèi)存帶寬可達(dá)19.6TB/s。不過(guò)，因設(shè)計(jì)復(fù)雜度與邏輯芯片成本，HBM4溢價(jià)預(yù)計(jì)＞30%(HBM3E溢價(jià)約20%)。
2025年3月，SK海力士交付用于AI的新型超高性能DRAM 12層HBM4樣品
目前各大存儲(chǔ)巨頭如SK海力士、三星電子和美光科技，正積極推進(jìn)HBM4的量產(chǎn)，以搶占未來(lái)市場(chǎng)的主導(dǎo)地位。今年3月，SK海力士已開(kāi)始向客戶送樣12層HBM4產(chǎn)品，并計(jì)劃在2025年下半年完成量產(chǎn)準(zhǔn)備，預(yù)計(jì)2026年量產(chǎn)HBM4產(chǎn)品。6月，美光科技也宣布向多個(gè)關(guān)鍵客戶交付HBM4樣品，計(jì)劃在2026年實(shí)現(xiàn)HBM4的產(chǎn)能爬坡。三星也計(jì)劃在2025年下半年實(shí)現(xiàn)HBM4的量產(chǎn)，并預(yù)計(jì)于2026年開(kāi)始商業(yè)供應(yīng)。
HBM“線路圖”：下一代HBM存儲(chǔ)革命
HBM4作為下一代高性能內(nèi)存標(biāo)準(zhǔn)，將于2026年大規(guī)模量產(chǎn)應(yīng)用。而在AI技術(shù)需求的推動(dòng)下，HBM技術(shù)仍將不斷迭代與升級(jí)，集中圍繞更高的帶寬、更大的容量、更低的功耗、更先進(jìn)的制造工藝與封裝技術(shù)、更廣泛的散熱解決方案等方面開(kāi)展。
近期，KAIST旗下TERALAB發(fā)布的HBM線路圖，展現(xiàn)了從單純?nèi)葸M(jìn)化。從HBM4到HBM8的技術(shù)演進(jìn)中，HBM不僅在帶寬上持續(xù)突破，還通過(guò)優(yōu)化互連數(shù)量、單線路數(shù)據(jù)速率與TSV密度，進(jìn)一步提升了整體性能。
表2：下一代HBM技術(shù)路線圖
其中，HBM的發(fā)展始終圍繞“更高帶寬”這一核心目標(biāo)展開(kāi)，通過(guò)TSV、混合鍵合、封裝工藝優(yōu)化和架構(gòu)創(chuàng)新等多方面的技術(shù)突破，實(shí)現(xiàn)了從HBM4到HBM8的跨越式發(fā)展。根據(jù)KAIST預(yù)測(cè)，HBM技術(shù)將從HBM4發(fā)展到HBM8，帶寬將從2TB/s增長(zhǎng)到64TB/s，數(shù)據(jù)傳輸速率將從8GT/s提升到32GT/s。這種指數(shù)級(jí)增長(zhǎng)背后，是混合鍵合、窄間距封裝等工藝的突破——從HBM3的微凸點(diǎn)(MR-MUF)技術(shù)到HBM5的無(wú)凸點(diǎn)Cu-Cu直接鍵合，鍵合精度從35μm級(jí)向10－15μm級(jí)演進(jìn)。
其次，存儲(chǔ)容量的升級(jí)與帶寬增長(zhǎng)形成協(xié)同效應(yīng)，這種效應(yīng)在HBM技術(shù)的演進(jìn)中尤為明顯。HBM4通過(guò)將堆疊層數(shù)從HBM3的8/12-Hi提升至12/16-Hi，并結(jié)合24Gb/die的存儲(chǔ)密度，使單顆容量達(dá)到36/48GB。到HBM8，其將通過(guò)20/24-Hi的堆疊與80Gb/die的密度，實(shí)現(xiàn)200/240GB的超大容量。這種容量的躍升不僅依賴于DRAM工藝的進(jìn)步，還得益于分層存儲(chǔ)架構(gòu)與內(nèi)存網(wǎng)絡(luò)的創(chuàng)新。比如，HBM7通過(guò)集成LPDDR-HBM與高帶寬閃存(HBF)，構(gòu)建起“內(nèi)存-存儲(chǔ)”一體化網(wǎng)絡(luò)，支持128GB/s的HBF鏈路與CXL接口，實(shí)現(xiàn)了從內(nèi)存到存儲(chǔ)的無(wú)縫數(shù)據(jù)流轉(zhuǎn)。
另外，HBM技術(shù)通過(guò)將計(jì)算能力與存儲(chǔ)架構(gòu)深度融合，正在重塑AI硬件的底層邏輯。其核心在于通過(guò)“近內(nèi)存計(jì)算(NMC)”技術(shù)將計(jì)算單元直接嵌入存儲(chǔ)堆疊，從而減少數(shù)據(jù)在CPU、GPU與內(nèi)存之間的遷移，顯著降低延遲并提升計(jì)算能效。HBM4通過(guò)定制基底芯片與AI強(qiáng)化TSV布局優(yōu)化，實(shí)現(xiàn)了帶寬與容量的突破。HBM5則確立了近內(nèi)存計(jì)算模式，通過(guò)垂直異構(gòu)堆疊提升算力密度與能效比。HBM6在結(jié)構(gòu)上實(shí)現(xiàn)了空間擴(kuò)展與容量共享，邁入多塔異構(gòu)架構(gòu)階段，為大型模型提供更高效的內(nèi)存平臺(tái)。HBM7進(jìn)一步引入“雙塔式HBM-NMC”架構(gòu)，通過(guò)兩堆DRAM與2048條中介層通道與GPU連接，構(gòu)建起以存儲(chǔ)為中心的計(jì)算架構(gòu)。
此外，3D集成技術(shù)的突破為HBM的演進(jìn)提供堅(jiān)實(shí)的物理基礎(chǔ)。隨著封裝需求的不斷提升，硅中介層在尺寸、成本和制造工藝上的限制逐漸顯現(xiàn)，尤其是在面對(duì)更大規(guī)模的芯片集成時(shí)，硅中介層的面積限制成為了一個(gè)瓶頸。為了解決這一問(wèn)題，HBM6引入了硅/玻璃混合中介層的設(shè)計(jì)，通過(guò)將硅與玻璃結(jié)合，不僅突破了硅中介層的面積限制，還實(shí)現(xiàn)了超大尺寸封裝的可能，從而支持更多HBM堆疊與GPU的集成。HBM6的硅/玻璃混合中介層標(biāo)志著封裝技術(shù)從單一材料向異質(zhì)集成的跨越。HBM8則進(jìn)一步推動(dòng)了封裝技術(shù)的創(chuàng)新，采用了雙面中介層設(shè)計(jì)，并在中介層中嵌入冷卻通道與垂直互連柱。未來(lái)HBM8的這一突破意味著HBM從單純存儲(chǔ)器件向系統(tǒng)級(jí)解決方案的轉(zhuǎn)變，為未來(lái)的高性能計(jì)算和人工智能應(yīng)用奠定了基礎(chǔ)。
當(dāng)然，隨著功耗密度大幅上行，能耗和散熱問(wèn)題日益突出，將成為行業(yè)長(zhǎng)期博弈的主線之一。在HBM4階段，冷卻方式主要依賴于頂部液冷，即通過(guò)在芯片封裝頂部加裝散熱器，將冷卻液泵送至熱源。然而，隨著HBM4的功耗和熱密度的增加，這種冷卻方式逐漸力不從心。金正浩教授指出，HBM4的冷卻液僅應(yīng)用于熱源頂部的散熱器，而無(wú)法有效應(yīng)對(duì)整個(gè)堆疊的散熱需求。因此，HBM5的浸沒(méi)式冷卻成為必然選擇，即整個(gè)芯片封裝和基座芯片將被浸入冷卻液中。他也介紹，繼HBM5之后，在HBM7上冷卻方式將再次成為決勝的關(guān)鍵。HBM7將采用嵌入式冷卻，即冷卻液將通過(guò)專用的流體TSV通道注入DRAM芯片間隙，以實(shí)現(xiàn)更高效的散熱。
總結(jié)
綜上所述，人工智能和數(shù)據(jù)中心需求的急劇增長(zhǎng)正在推動(dòng)HBM存儲(chǔ)技術(shù)的革命性演進(jìn)與迭代。HBM作為突破“內(nèi)存墻”的關(guān)鍵技術(shù)，將通過(guò)3D堆疊和先進(jìn)封裝技術(shù)，實(shí)現(xiàn)帶寬和集成度的顯著提升，成為AI和高性能計(jì)算領(lǐng)域的重要支撐。
從HBM4到HBM8的演進(jìn)，不僅是一次技術(shù)的升級(jí)，更是對(duì)整個(gè)計(jì)算架構(gòu)的重新定義。HBM將從單純的高速存儲(chǔ)演變?yōu)?ldquo;內(nèi)存即計(jì)算”的核心組件，推動(dòng)AI、大數(shù)據(jù)分析和高性能計(jì)算的進(jìn)一步發(fā)展。未來(lái)，HBM還將與光互聯(lián)、片上網(wǎng)絡(luò)(NoC)、存算融合等前沿技術(shù)結(jié)合，構(gòu)建新一代高性能系統(tǒng)的核心內(nèi)存平臺(tái)。
聲明：
本文來(lái)源于網(wǎng)絡(luò) ，轉(zhuǎn)載僅為學(xué)習(xí)參考，如有問(wèn)題請(qǐng)聯(lián)系，謝謝。
宏熙半導(dǎo)體（無(wú)錫）有限公司http://www.zl5pogfd.cn
在線交談