據(jù)報道,硅谷晶圓芯片創(chuàng)企 Cerebras 近日公布了其 WSE-3 芯片型號,聲稱在保持相同能耗的基礎上,性能較前作 WSE-2 提升逾一倍。主要技術規(guī)格如下:
首先,WSE-3采用臺積電最新的5nm工藝制作(目前領先業(yè)界)。其次,該芯片擁有超過4萬億個晶體管以及90萬個AI核心,配合44GB片上SRAM高速緩存及三種可選片外存儲方案(分別是1.5TB、12TB與1.2PB)。此外,WSE-3還具備125 PFLOPS的AI運算能力。
Cerebras指出,新款CS-3系統(tǒng)基于WSE-3芯片設計,最高支持1.2PB的內存容量,適于訓練比GPT-4及Gemini更大的未來模型。借助獨特的邏輯內存空間技術,能將24000T模型參數(shù)集中儲存,大幅減輕了開發(fā)者負擔。
尤為值得關注的是,CS-3強大的卓越的訓練性能使其成為滿足大規(guī)模AI需求的最佳選擇,甚至可以在單日內完成70B模型的精煉。借助最大規(guī)模的2048套CS-3系統(tǒng)集群,僅僅一天便能夠完成長毛羊 70B 神經(jīng)網(wǎng)絡(Netrep Tempo)模型的深度學習。同時,CS-3系統(tǒng)在用戶友好性設計方面也表現(xiàn)出色,與GPU相比,大模型訓練中的編碼量降低高達97%,更多人可以輕松掌握超大規(guī)模AI處理技能。
值得一提的是,阿聯(lián)酋G42財團已經(jīng)表態(tài)將創(chuàng)建含64套 CS-3系統(tǒng)在內的Condor Galaxy 3超級計算機,預計綜合AI運算能力可達8 exaFLOPs。
-
芯片
+關注
關注
463文章
54014瀏覽量
466285 -
臺積電
+關注
關注
44文章
5803瀏覽量
176381 -
sram
+關注
關注
6文章
820瀏覽量
117480 -
晶體管
+關注
關注
78文章
10396瀏覽量
147813
發(fā)布評論請先 登錄
中科曙光scaleX萬卡超集群重塑超大規(guī)模算力基礎設施
燧原科技榮獲2025年超大規(guī)模智算集群創(chuàng)新應用實踐成果
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片到AGI芯片
睿海光電以高效交付與廣泛兼容助力AI數(shù)據(jù)中心800G光模塊升級
Cognizant加速AI模型企業(yè)級開發(fā)
偉創(chuàng)力高效電源模塊在超大規(guī)模數(shù)據(jù)中心的應用
超大規(guī)模芯片驗證:基于AMD VP1902的S8-100原型驗證系統(tǒng)實測性能翻倍
CMOS超大規(guī)模集成電路制造工藝流程的基礎知識
Cerebras推WSE-3芯片,性能翻倍,助力超大規(guī)模AI模型訓練
評論