電子發(fā)燒友網(wǎng)報道(文/李彎彎)如今隨著技術發(fā)展,計算任務越來越復雜,而在馮諾依曼架構中,數(shù)據(jù)需要在存儲、內存、緩存、計算單元中不斷搬運,造成大部分時間、帶寬、緩存、功耗都消耗在數(shù)據(jù)搬運上,而不是計算上,因此存儲墻成了一個越來越嚴重的問題。
存內計算,故名思義就是把計算單元嵌入到內存當中,理想中是可以完美解決存儲墻的問題,近幾年,三星、SK海力士、臺積電、英特爾、美光、阿里等半導體領域巨頭都在積極研發(fā),許多新興企業(yè)也陸續(xù)加入進來,并取得了不錯進展。
面對打得火熱的存內計算,也有人認為,存內計算可能行不通,有幾個方面的原因:一是AI算法模型的容量比較大,而這個在存儲器里面做計算,成本會非常高;二是受限于存儲芯片的工藝,比如說密度要做到很高,良品率要比較高,工藝就比較難以做到。
那么存內計算到底可不可行?存內計算未來的市場機會點在哪里?蘋芯科技CEO楊越在接受電子發(fā)燒友采訪時,針對在存儲器內做計算成本不會太高,存儲芯片工藝能不能行,存內計算的主要的應用場景方向,做了詳細的分享和解答。
存內計算到底可不可行
針對“AI算法模型的容量比較大,而這個在存儲器里面做計算,成本會非常高”的疑問,楊越解釋道,有人認為在存儲器里面做計算,成本會高,是因為他們認為要容下非常多網(wǎng)絡參數(shù),就需要把存儲器做得非常大,存儲器做大就意味著成本高。
針對這個問題,楊越表示目前已經(jīng)有很多方法可以解決。
第一,在算法模型上進行解決,即將網(wǎng)絡模型輕量化,比如知識蒸餾,簡單來說就是減少算法模型中的參數(shù)的存儲需求,目前已經(jīng)有很多非常成熟的方法,比如CNN壓縮,就是屬于這一類。
蘋芯科技以S200為基礎搭建的功能演示平臺,在這個演示系統(tǒng)里,就采用了其中一種基于神經(jīng)網(wǎng)絡架構搜索NAS的方法來得到輕量化的模型,而且能完成非常高的識別率,可以達到99%的關鍵字識別功能。S200是蘋芯首款可商用的存內計算芯片,以S200為基礎搭建功能演示平臺,目的是演示在28nm工藝節(jié)點上的存內計算可以跑通端對端的神經(jīng)網(wǎng)絡。
第二,從可擴展的架構設計上著手。楊越表示我們可以試圖打破將整個算法模型必須同時全部加載到內存中之后,才可以開始計算的固化假設。相應地,一個好的存算架構是可以支持以計算負載為主或以存儲負載為主的不同任務,從而形成一個基于存內計算的向上適配能力強的算力平臺。
第三,可以通過使用新型存儲器解決這個問題,包括磁性存儲器MRAM和憶阻器RRAM,相比于SRAM來說,MRAM和RRAM都有更高的存儲密度,所以從存儲單元介質本身就可以做到更大,這樣可以達到存儲更多計算參數(shù)的目的。
可以看到,從這三個方面著手,都可以達到解決AI算法模型太大,存儲器要放下這么多數(shù)據(jù),需要把存儲器做得很大,從而帶來成本高的問題。
針對存儲芯片的工藝可能帶來限制的問題,楊越談到,蘋芯科技主要是基于SRAM的存內計算,目前SRAM的工藝已經(jīng)非常成熟,就存儲器器件本身來說,市面上已經(jīng)有7nm、5nm的產(chǎn)品,成熟工藝的良率很有保證。
“另外,對于新型存儲器MRAM和RRAM,頭部代工廠也已經(jīng)有22nm甚至更高制程的量產(chǎn)線。”楊越說,所以在他看來,存內計算技術可以跟隨新型存儲器器件本身的技術逐步共同走向成熟。
另外需要提到的一點是,新型存儲器MRAM和RRAM雖然可以解決容量不大這個問題,但是作為一個新的產(chǎn)品類型,還存在一些挑戰(zhàn),比如在可靠性,耐用性上存在一些挑戰(zhàn)。不過楊越預計在近期未來新型存儲就會達到商業(yè)成熟化的程度。
蘋芯科技雖然成立時間不長,但是團隊在創(chuàng)業(yè)前期就已經(jīng)有很長時間的積累,存內計算是一項技術壁壘非常高的工程,而蘋芯科技在包括從底層內存器件的物理特性的理解,到上層芯片架構的設計,再到最后產(chǎn)品落地成本的控制上都有足夠的積累,在各個技術棧都有自己的IP,蘋芯科技也是第一個擁有工業(yè)級28nm SRAM存內計算加速單元DEMO的團隊,并首次利用RRAM存內計算完成基于LeNet的CIFAR10的識別任務。
蘋芯科技下一代芯片S300已從代工廠回片,據(jù)楊越介紹,目前工程團隊,正在進行相應的測試和展示工作,相較于S200,S300具有更強大的計算能力,可以兼容更多網(wǎng)絡模型,從而支持更豐富的邊緣端應用場景。
存內計算的機會點在哪里
我們知道,存內計算有多種不同的技術路線,每個技術路線各有特點,比如Flash的優(yōu)點是密度比較高,DRAM成本會比較低,磁性存儲器MRAM、憶阻器RRAM除了存儲密度比較高之外,功耗也比較低,楊越說:“這兩類新型存儲器MRAM和RRAM代表著存內計算的未來。”不過因為是新技術,就如上文所言,在工藝成熟度和商業(yè)化上還需要一些耐心。
蘋芯科技采用的是SRAM+MRAM和RRAM混合技術路線。楊越解釋說:“之所以選擇這樣的技術路線,背后的原因是,SRAM作為讀寫速度最快的內存介質,具備很多優(yōu)勢,比如,它可以向更先進的制程節(jié)點兼容,具備高能效比的計算優(yōu)勢,同時它又不存在其他非易失性存儲所具備的耐久性問題,更重要的是,基于SRAM的設計方案,可以支持純數(shù)字化設計,從而能夠解決很多應用場景所關心的精度問題。”
蘋芯選擇新型存儲器,一是因為它具有高性能天花板,二是這也有利于團隊核心成員更好地發(fā)揮過往的技術積累和工程經(jīng)驗。
存內計算未來的應用個機會點在哪里呢?現(xiàn)在很多具有AI計算功能的芯片,包括GPU、FPGA以及NPU、SOC等,都是基于傳統(tǒng)的馮諾伊曼架構設計的,會受到存儲墻、功耗墻的約束,這就導致他們在絕對計算上很強,但在整個計算效率上存在天花板。
而存內計算就可以彌補這些問題,短期來看,存內計算的主要市場機會主要會出現(xiàn)在端側的產(chǎn)品上,因為存內計算的技術優(yōu)勢,能夠提供比較高的計算效率和比較低的功耗,比如可穿戴設備、智能家居等是非常適合存內計算的應用方向。
長期來看,隨著新型存儲器工藝的成熟,它不但會給低功耗的市場帶來機會,同時會把計算能力提升2-3個量級,讓存內計算的應用擴展到更多場景中,比如在一些用電量受限,但對絕對算力仍然有要求的場景層面,存內計算就可以給客戶帶來差異化的選擇機會。
小結
如Gardner曲線的解讀,任何新興技術在發(fā)展初期都會經(jīng)歷一些起伏,尤其像存內計算這種在底層上有巨大突破的技術,從最初的熱捧,到發(fā)展期的理性,到成長期的企穩(wěn)上升,再到最后產(chǎn)品商業(yè)化。扎實的技術背景和可靠的工程化能力,是存內計算企業(yè)立足市場并獲得客戶認可的重要基礎。我們期待著更多更好的技術與產(chǎn)品,為智能化場景描繪出更美好的未來。
-
數(shù)據(jù)
+關注
關注
8文章
7332瀏覽量
94555 -
計算
+關注
關注
2文章
460瀏覽量
39959 -
AI算法
+關注
關注
0文章
270瀏覽量
13105
發(fā)布評論請先 登錄
驅動之路#03:LCD 時序參數(shù)分析
ONET2804TLP:高性能低功耗4通道限幅跨阻放大器的深度解析
探索MAX40662:用于LiDAR的四通道跨阻放大器
探索 LTC6563:四通道跨阻放大器的卓越性能與應用
通往AGI之路道阻且長:為未來智能筑牢算力基礎
長晶口型鎖存器CJ74HC573系列、CJ74HCT573系列與TI、安世對應料號替代指南
存內計算芯片,熱度大增
比亞迪新能源車隊護航2025絲綢之路萬里行
中國EDA產(chǎn)業(yè)自主化:道阻且長,行則將至
第二屆知存科技杯華東高校存內計算創(chuàng)新應用大賽正式啟動
LMH32404-Q1 具有集成多路復用功能的汽車類四通道差分輸出跨阻放大器技術手冊
存內計算之路——道阻且長,行則將至
評論