ChatGPT的火爆預(yù)示了自動駕駛的方向：大模型（至少超過100億個參數(shù)）和高算力（至少1000TOPS@FP16）。ChatGPT完美展示了大模型的優(yōu)勢，也讓英偉達(dá)欣喜若狂，英偉達(dá)、AMD和英特爾是最大受益者（英偉達(dá)最頂級的DGX-H100中的CPU是英特爾的W3495X，國內(nèi)售價高達(dá)每片8萬人民幣），還有幾乎壟斷高端服務(wù)器市場的中國臺灣企業(yè)廣達(dá)和英業(yè)達(dá)，科技巨頭每年需要花費數(shù)百億乃至上千億美元購買新的服務(wù)器來處理越來越大的AI模型，并且會持續(xù)數(shù)十年。 ? 高算力讓存儲墻愈加明顯，存儲系統(tǒng)的成本也持續(xù)攀升，AI芯片價格越來越高，未來10萬美元甚至百萬美元級AI芯片也極有可能。要完美解決存儲墻問題是不可能的，折中的辦法是存算一體。這雖然無法解決芯片成本趨高的問題，但是可以解決1000TOPS算力的問題。

根據(jù)存儲與計算的距離遠(yuǎn)近，將廣義存算一體的技術(shù)方案分為三大類，分別是近存計算 (Processing Near Memory，PNM)、存內(nèi)處理(Processingln Memory，PIM) 和存內(nèi)計算(Computing in Memory, CIM)。其中，存內(nèi)計算即狹義的存算一體。 存內(nèi)計算面臨的最大挑戰(zhàn)是內(nèi)存和高性能計算都是高度集中的行業(yè)，巨頭們出于利潤的考量，不會允許革命性的存內(nèi)計算顛覆其所屬的壟斷行業(yè)。內(nèi)存行業(yè)，美光、三星和SK Hynix在高性能存儲領(lǐng)域市占率達(dá)100%。高性能計算領(lǐng)域，英特爾、AMD和英偉達(dá)的市場占有率也接近100%。臺積電和三星聯(lián)合壟斷了高性能芯片代工領(lǐng)域。

7納米以下晶圓廠產(chǎn)能是最具話語權(quán)的武器，沒有這個，高性能計算便是空中樓閣。 PNM已經(jīng)非常常見，即HBM與CPU一體，所有高性能計算芯片都是如此，采用HBM堆疊，2.5D封裝，硅中介層（Interposer）內(nèi)聯(lián)在基板上。也可以反推，沒有采用HBM就不是高性能計算芯片。特斯拉二代FSD已經(jīng)用上了GDDR6，下一代基本可以肯定是HBM3了。

PIM則是再下一階段熱點 圖片來源：Planet

PIM已經(jīng)有商業(yè)化的實例，最早的實例是Xilinx的Alveo U280 圖片來源：Planet

PIM可以大幅度降低存取功耗 圖片來源：Planet

圖片來源：三星

AMD收購Xilinx，其中最看中的就是PIM堆疊技術(shù)，AMD后來將其用在InstinctMI100/MI250/MI150/MI210系列GPU上，這也是美國商務(wù)部禁止向中國出售的芯片。MI100的性能能夠超越英偉達(dá)的上一代旗艦A100，功耗較A100降低約25%，價格也低于A100約30%。MI250與英偉達(dá)新旗艦H100持平，在FP32和FP64上，MI250更強；在FP16上，H100遠(yuǎn)超MI250。? PIM的主角還是三星，配角是AMD，三星Aquabolt-XLHBM2-PIM是目前唯一PIM內(nèi)存。

Aquabolt-XL HBM2-PIM架構(gòu)

圖片來源：三星

PIM非常簡單，就是用硅通孔（Through Silicon Via, TSV）技術(shù)將計算單元塞進(jìn)內(nèi)存上下BANK之間。TSV技術(shù)人類2010年就掌握了，只不過迄今還不算特別成熟，價格還是有點高。

圖片來源：三星

計算單元很簡單，一個FP16矩陣乘法，一個FP16矩陣加法。輸入命令解碼和行列地址即可。

PIM運作模式

圖片來源：三星

PIM的軟件棧

圖片來源：三星 在2023CES消費電子展上，AMD推出了MI300，PIM似乎升級到了HBM3。

圖片來源：AMD 國人一心打破美國的科技壟斷，由于缺乏先進(jìn)2.5D和3D封裝產(chǎn)能和技術(shù)，中國企業(yè)對PNM和PIM完全不感興趣，聚焦的是真正的存算一體，即存內(nèi)計算。 其本質(zhì)是利用不同存儲介質(zhì)的物理特性，對存儲電路進(jìn)行重新設(shè)計使其同時具備計算和存儲能力，直接消除“存〞“算〞界限，使計算能效達(dá)到數(shù)量級提升的目標(biāo)。在存儲原位上實現(xiàn)計算，是真正的存算一體。存算一體理論上完美，但目前離實用至少還有10年距離。 存內(nèi)計算主要包含數(shù)字和模擬兩種實現(xiàn)方式，二者適用于不同應(yīng)用場景。模擬存內(nèi)計算能效高，但誤差較大，適用于低精度、低功耗計算場景，如端側(cè)可穿戴設(shè)備等。

模擬存內(nèi)計算還涉及復(fù)雜的模數(shù)轉(zhuǎn)換器（ADC）、數(shù)模轉(zhuǎn)換器(DAC)、跨阻放大器（TIA) 等模塊。ADC和DAC領(lǐng)域需要幾十年經(jīng)驗長期摸索，全球精通ADC和DAC的僅有ADI、德州儀器和NXP三家，其中ADI最強，正是牽涉大量模擬部分，存內(nèi)計算無法使用EDA工具，導(dǎo)致芯片開發(fā)成本高、周期長、規(guī)模小、算力低。 一直以來，主流的存內(nèi)計算大多采用模擬計算實現(xiàn)，近兩年數(shù)字存內(nèi)計算的研究熱度也有所提升。模擬存內(nèi)計算主要基于物理定律（歐姆定律和基爾霍夫定律)，在存算陣列上實現(xiàn)乘加運算。數(shù)字存內(nèi)計算通過在存儲陣列內(nèi)部加入邏輯計算電路，如與門和加法器等，使數(shù)字存內(nèi)計算陣列具備存儲及計算能力。

數(shù)字存內(nèi)計算精度高，但是其存儲單元只能存儲單比特數(shù)據(jù)，而目前主流人工智能訓(xùn)練是32或64比特數(shù)據(jù)，這嚴(yán)重限制了其應(yīng)用范圍，并且數(shù)字存內(nèi)計算需增加加法樹邏輯電路，很大程度上限制了面積及能效優(yōu)勢。也就是目前存內(nèi)計算在高算力領(lǐng)域沒有容身之地的原因。 存內(nèi)計算最重要的部分就是存儲器件本身，算法之類的軟件部分幾乎可以忽略。目前存儲器主要有易失性存儲器和非易失存儲器件。易失性存儲器在設(shè)備掉電之后數(shù)據(jù)丟失，如SRAM等。非易失性存儲器在設(shè)備掉電后數(shù)據(jù)可保持不變，如NOR Flash、可變電阻隨機存儲器 (Resistive Random Access Memory, RRAM或ReRAM)、磁性隨機存儲器(Magnetoresistive Random Access Memory, MRAM)、相變存儲器 (Phase ChangeMemory, PCM）等。中國企業(yè)或機構(gòu)主要研究的是鐵電晶體管FeFET。傳統(tǒng)的SRAM、DRAM、NAND被三星、美光和SK Hynix壟斷，因此基于傳統(tǒng)存儲的存內(nèi)計算無論如何都無法對抗這三大巨頭，大部分機構(gòu)或企業(yè)都選擇另辟蹊徑。

幾種新興存儲器的技術(shù)對比

需要指出，目前存儲器制造也需要EUV***了，而EUV***被ASML壟斷，又聽命于美國政府。通常認(rèn)為，DRAM的天花板是10nm。其原因是在傳統(tǒng)1T1C架構(gòu)下，單位元件面積不斷減小，如何保證電容能夠存儲足夠的電荷、防止相鄰存儲單元之間的耦合，是DRAM推進(jìn)到10nm以下的無解難題，而EUV是用來做7nm以下的，DRAM目前主流是14納米。

14納米理論上完全可以用DUV來完成，不需要EUV。 但實際情況并非如此，三星電子的1Znm節(jié)點DRAM量產(chǎn)結(jié)果表明，相比于DUV浸沒式光學(xué)***，EUV***極大簡化了制造流程，不僅可以大幅度提高光刻分辨率和DRAM性能，而且可以減少所使用的掩模數(shù)量，從而減少流程步驟的數(shù)量，減少缺陷、提高存儲密度，并大幅降低DRAM生產(chǎn)成本，縮短生產(chǎn)周期。

也就是說，即使EUV掩模費用（達(dá)數(shù)百萬美元）遠(yuǎn)高于DUV掩模費用，使用EUV***量產(chǎn)DRAM也具有更高的性價比。三星電子和SK海力士公司將EUV***引入1Znm節(jié)點DRAM的量產(chǎn)進(jìn)展順利，并一路高歌到第五代1β節(jié)點，令DRAM三巨頭中最為保守的美光公司很無奈。美光一度宣稱自己用DUV也做到了11納米，然而進(jìn)入2023年后的DDR5時代，韓國雙雄再一次依靠EUV***碾壓了美光。美光在DDR5方面嚴(yán)重落后韓國雙雄。

全球智能汽車領(lǐng)域，特斯拉是第一個用上GDDR6的企業(yè)，特斯拉也很可能第一個用上HBM2或HBM3，當(dāng)然代價是芯片成本超過1000美元以上，不過以特斯拉的溢價能力，消費者愿意為高價買單。要想超越特斯拉，不如一步到位，直接上HBM3。當(dāng)然了，對中國企業(yè)來說最困難的不是技術(shù)，而是供應(yīng)鏈，晶圓級2.5D封裝HBM的產(chǎn)能95%都在臺積電手中，5%在三星手中。

編輯：黃飛

?