英偉達、AMD、微軟等科技巨頭排隊購買！HBM芯片有何魅力

科技巨頭排隊購買

繼英偉達之后，全球多個科技巨頭都在競購 SK 海力士的第五代高帶寬內存 HBM3E。半導體行業內部人士稱，各大科技巨頭已經在向 SK 海力士請求獲取 HBM3E 樣本，包括 AMD、微軟和亞馬遜等等。

AMD 最近透露了其下一代 GPU MI300X，表示它將從 SK 海力士和三星電子獲得 HBM3 供應。除英偉達和 AMD 之外，亞馬遜和微軟則是云服務領域的兩大巨頭，之前已引入生成式人工智能技術，并大幅追加了對于 AI 領域的投資。

報道稱，SK 海力士正忙于應對客戶對 HBM3E 樣品的大量請求，但滿足英偉達首先提出的樣品數量要求非常緊迫。

主流 AI 訓練芯片 " 標配 "

隨著 AI 技術不斷發展，AI 訓練、推理所需計算量呈指數級增長，2012 年至今計算量已擴大 30 萬倍。處理 AI 大模型的海量數據，需要寬廣的傳輸 " 高速公路 " 即帶寬來吞吐數據。今年 5 月，英偉達宣布推出大內存 AI 超級計算機 DGX GH200，該產品集成最多達 256 個 GH200 超級芯片，是 DGX A100 的 32 倍。機構推測，在同等算力下，HBM 存儲實際增量為 15.6 倍。

HBM 全稱 High Bandwidth Memory，即高帶寬內存，是一種新興的 DRAM 解決方案。HBM 具有基于 TSV（硅通孔）和芯片堆疊技術的堆疊 DRAM 架構，簡而言之就是將內存芯片堆疊到一個矩陣里，再將其堆棧置于 CPU 或 GPU 的旁邊，通過 uBump 和 Interposer （中介層，起互聯功能的硅片）實現超快速連接。Interposer 再通過 Bump 和 Substrate（封裝基板）連通到 BALL，最后 BGA BALL 再連接到 PCB 上。

HBM 一定程度可以看作 GDDR 的替代品，其將 DDR 芯片堆疊在一起后和 GPU 封裝在一起，實現大容量，高位寬的 DDR 組合陣列。GDDR 作為獨立封裝，在 PCB 上圍繞在處理器的周圍，而 HBM 則排布在硅中階層（Siliconlnterposer）上并和 GPU 封裝在一起，面積一下子縮小了很多，舉個例子，HBM2 比 GDDR5 直接省了 94% 的表面積。并且，HBM 離 GPU 更近了，這樣數據傳輸也就更快了。

通俗來講，HBM 通過垂直連接多個 DRAM，顯著提高數據處理速度。它們與 CPU、GPU 協同工作，可以極大提高服務器性能。其帶寬相比 DRAM 大幅提升，例如 SK 海力士的 HBM3 產品帶寬高達 819GB/s。同時，得益于 TSV 技術，HBM 的芯片面積較 GDDR 大幅節省。

AIGC 時代為 HBM 帶來的需求增量主要體現在兩方面：一方面，單顆 GPU 需要配置的單個 HBM 的 Die 層數增加、HBM 個數增加；另一方面，大模型訓練需求提升拉動對 AI 服務器和 AI 芯片需求，HBM 在 2023 年將需求明顯增加，價格也隨之提升。

TrendForce 集邦咨詢指出，為提升整體 AI 服務器的系統運算效能，以及存儲器傳輸帶寬等，NVIDIA、AMD、Intel 等高端 AI 芯片中大多選擇搭載 HBM。

國盛證券指出，HBM 最適用于 AI 訓練、推理的存儲芯片。受 AI 服務器增長拉動，HBM 需求有望在 2027 年增長至超過 6000 萬片。Omdia 則預計，2025 年 HBM 市場規模可達 25 億美元。

HBM 或迎量價齊升

存儲行業當前處于周期較為底部的位置，供給收窄有利于減緩價格下降。有業內消息人士透露，由于人工智能服務器需求激增，高帶寬內存（HBM）價格已開始上漲。

而根據 CFM 和 Trendforce，部分 DRAM 與 NAND 產品將于 2023 年三季度實現價格上漲，預計存儲行業有望在下半年迎來復蘇。集邦咨詢預計，目前英偉達 A100、H100、AMD MI300，以及大型云服務提供商谷歌、AWS 等自主研發的 ASIC AI 服務器增長需求較為強勁，預計 2023 年 AI 服務器出貨量（含 GPU、FPGA、ASIC 等）在 120 萬臺，年增長率近 38%。AI 芯片出貨量同步看漲，預計今年將增長 50%。

目前，全球前三大存儲芯片制造商正將更多產能轉移至生產 HBM，但由于調整產能需要時間，很難迅速增加 HBM 產量，預計未來兩年 HBM 供應仍將緊張。另據韓媒報道，三星計劃投資 1 萬億韓元（約合 7.6 億美元）擴產 HBM，目標明年底之前將 HBM 產能提高一倍，公司已下達主要設備訂單。

據悉，三星已收到 AMD 與英偉達的訂單，以增加 HBM 供應。本次三星將在天安工廠展開擴產，該廠主要負責半導體封裝等后道工藝。HBM 主要是通過垂直堆疊多個 DRAM 來提高數據處理速度，因此只有增加后段設備才能擴大出貨量。三星計劃生產目前正在供應的 HBM2 和 HBM2E 等產品，并計劃于下半年量產 8 層堆疊 HBM3 和 12 層 HBM3E。

值得一提的是，6 月已有報道指出，另一存儲芯片巨頭 SK 海力士已著手擴建 HBM 產線，目標將 HBM 產能翻倍。擴產焦點在于 HBM3，SK 海力士正在準備投資后段工藝設備，將擴建封裝 HBM3 的利川工廠。預計到今年年末，后段工藝設備規模將增加近一倍。

實際上，2023 年開年后三星、SK 海力士的 HBM 訂單快速增加，之前另有消息稱 HBM3 較 DRAM 價格上漲 5 倍。而業內預計，明年三星與 SK 海力士都將進一步擴大投資規模。由于谷歌、蘋果、微軟等科技巨頭都在籌劃擴大 AI 服務，HBM 需求自然水漲船高，" 若想滿足未來需求，三星、SK 海力士都必須將產能提高 10 倍以上。"

AI 之外市場同樣需求旺盛

AI 背后的算力需求推動了 HBM 市場的快速成長，而 AI 之外，HBM 憑借出色的傳輸性能，同樣廣受其他市場歡迎。

除了 AI 服務器，汽車也是 HBM 值得關注的應用領域。汽車中的攝像頭數量所有這些攝像頭的數據速率和處理所有信息的速度都是天文數字，想要在車輛周圍快速傳輸大量數據，HBM 具有很大的帶寬優勢。但是最新的 HBM3 目前還沒有取得汽車認證，外加高昂的成本，所以遲遲還沒有 " 上車 "。不過，Rambus 的高管曾提出 HBM 絕對會進入汽車應用領域。

AR 和 VR 也是 HBM 未來將發力的領域。因為 VR 和 AR 系統需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內存之間傳輸數據。而且，VR 和 AR 也需要實時處理大量數據，這都需要 HBM 的超強帶寬來助力。

此外，智能手機、平板電腦、游戲機和可穿戴設備的需求也在不斷增長，這些設備需要更先進的內存解決方案來支持其不斷增長的計算需求，HBM 也有望在這些領域得到增長。并且，5G 和物聯網（loT ) 等新技術的出現也進一步推動了對 HBM 的需求。

存儲市場原本就是一個高度集中的半導體領域，而 HBM 作為 DRAM 的一種，其市場也被三巨頭瓜分。目前技術走在最前面的是 SK 海力士，并且它也擁有第一的市占率，高達 50%，緊隨其后的是三星，市占率約 40%，美光約占 10%。預計到 2023 年，SK 海力士市占率有望提升至 53%，而三星、美光市占率分別為 38% 及 9%。

下游廠商主要是 CPU/GPU 廠商，如英特爾、英偉達以及 AMD。因為 HBM 是與 GPU 封裝在一起的，所以 HBM 的封裝基本也由晶圓代工廠一同包攬完成，而晶圓代工廠商包括、格芯等也在發力 HBM 相關技術。

總的來說，HBM 的競爭還是在 SK 海力士、三星以及美光之間展開。2013 年 SK 海力士將 TSV 技術應用于 DRAM，在業界首次成功研發出第一代 HBM 芯片。此后，SK 海力士相繼推出 HBM2、HBM2E、HBM3 數代產品。據悉，SK 海力士正在研發 HBM4，預計新一代產品將能夠更廣泛地應用于高性能數據中心、超級計算機和 AI 等領域。SK 海力士 CFO 金祐賢表示，公司正關注著市場上出現以 AI 為基礎的新服務器替換存儲器需求的積極信號。公司計劃持續投資 DDR5/LPDDR5、HBM3 等主力產品的量產和未來高成長領域。

三星電子雖然在 HBM 的開發上落后一步，但也在尋找新的突破口。據悉，三星電子正在開發集成 AI 處理器新一代存內計算芯片 HBM-PIM。北京大學信息科學技術學院微納電子學系副教授葉樂表示，存內計算芯片是將 AI 引擎引入存儲庫，將處理操作轉移到 HBM 本身，將有效加大數據傳輸帶寬，提高內存的處理速度。存內計算技術正在實現產品化。目前基于 SRAM 的存內計算，已經進入到產品化的前夜，DRAM 存內計算適用于大算力 AI 芯片，因此還需要解決其他一系列的技術難題。

美光科技則走得較慢，于 2020 年 7 月宣布大規模量產 HBM2E，HBM3 也仍作為其產品線在持續研發之中。

產業鏈國產化的機會

誠然，HBM 的市場基本被海外巨頭所占據，但芯片儲存的自主可控仍是當下產業發展的重要方向，而從原材料、配件到封裝，國產半導體產業鏈同樣能夠在 HBM 生態找到屬于自己的位置。

在原材料供應方面，國內雅克科技主要致力于電子半導體材料，深冷復合材料以及塑料助劑材料研發和生產，本身就是 SK 海力士、LG 顯示的核心供應商，并進入合肥長鑫、長江存儲、京東方等國內龍頭客戶，旗下 UPChemical 是全球領先的半導體級 SOD 和前驅體產品供應商，同樣是 SK 海力士的核心供應商，有望充分分享 HBM 市場成長紅利。而 HBM 屬于先進封裝的一種，因疊層厚度較高因此需要用特殊的顆粒塑封料封裝（GMC），全球真正 GMC 技術只有 2 家日系公司（S 公司和 R 公司）掌握，國內企業華海誠科同樣在該領域有所布局。

除原材料供應外，通富微電、國芯科技等企業則在封裝領域具有一定優勢。此外，HBM 中先進 DRAM 加工工藝和 TSV 加工工藝中是必不可少的工藝環節，國內中微公司、拓荊科技等企業同樣有所布局。

隨著 HBM 產業鏈國產化熱度持續發酵下，相信 HBM 國產化也只是時間問題。