第七屆集微半導體峰會于6月初在廈門成功舉辦,上海天數智芯半導體有限公司(以下簡稱“天數智芯”)產品線總裁鄒翾受邀參加“集微通用芯片行業應用峰會”,發表了題為“國產GPU助力大模型的實踐”的主題演講,全面介紹了天數智芯基于自研通用GPU的全棧式集群解決方案及其在支持大模型上的具體實踐。

天數智芯產品線總裁鄒翾
鄒翾指出,順應大模型的發展潮流,天數智芯依托通用GPU架構,從訓練和推理兩個角度為客戶提供支撐,全力打造高性價比、通用性的全棧式集群解決方案,為大模型時代提供強大算力底座。
據介紹,天數智芯的天垓、智鎧系列通用GPU產品具有高性能、廣通用、開發成本低的特點,廣泛支持DeepSpeed、Colossal、BM Train等各種大模型框架,基于天垓、智鎧加速卡的算力集群方案不僅能夠有效支持LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune,還適配了清華、智源、復旦等在內的國內多個研究機構的開源項目,為行業伙伴提供一站式的大模型算力及賦能服務。同時面向大模型推理側的一體機,性價比超過國內現有市場主流產品。

為全面助力大模型的發展,天數智芯還圍繞底層技術支撐做了大量功課。鄒翾介紹說,一方面天數智芯通過最大化數據復用、可擴展大矩陣計算和存算異步、混合精度Transformer加速、高效高帶寬顯存及P2P等方式來提升芯片性能。另一方面,持續提升基礎軟件實力,在支持前沿大模型、混合并行策略、新型Att加速、兼容APIs、模型壓縮等輕量化部署方面開展布局。
鄒翾表示,不論從應用還是研發角度來看,大模型需求會持續走高,天數智芯將堅持以服務國家戰略為主線,始終致力于自主開發用戶易用的高性能通用GPU產品,不斷升級算力解決方案,適配支持更高效、更復雜算法的大模型,為我國大模型創新發展、應用落地提供更加堅實的算力支撐。
關于天數智芯
上海天數智芯半導體有限公司(簡稱“天數智芯”)是中國領先的通用GPU 高端芯片及超級算力系統提供商。天數智芯以“服務國家戰略”為己任,堅持“四個面向”,致力于開發自主可控、國際領先的高性能通用GPU產品,探索通用GPU趕超發展道路,加快建設自主產業生態,為全產業提供高端算力解決方案。未來,天數智芯將堅持中國特色的自主自強創新發展道路,打造更可信、更高效、更綠色的世界一流算力引擎,賦能千行百業數字化轉型,促進我國數字經濟高質量發展,開啟中國引領世界走向元宇宙、數字孿生的嶄新一頁。
END
原文標題:天數智芯通用GPU產品為大模型時代提供強大算力底座
文章出處:【微信公眾號:天數智芯】歡迎添加關注!文章轉載請注明出處。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
天數智芯
+關注
關注
0文章
102瀏覽量
6618
原文標題:天數智芯通用GPU產品為大模型時代提供強大算力底座
文章出處:【微信號:IluvatarCoreX,微信公眾號:天數智芯】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
熱點推薦
GPU 利用率<30%?這款開源智算云平臺讓算力不浪費 1%
作為 AI 開發者,你是否早已受夠這些困境:花數百萬采購的 GPU 集群,利用率常年低于 30%,算力閑置如同燒錢;跨 CPU/GPU/NPU 異構資源調度難如登天,
別選錯底座!一文說清鑄鐵測試和電機測試底座的真正區別
設計,安裝調平和對中要求相當為苛刻。“大材小用”:如果僅用于靜態或相當低功率測試,其卓和越的動態性能無法發揮,顯得笨重且不經濟。比較終結論:鑄鐵測試底座是“穩健的通用解”,而電機測試底座
發表于 01-17 13:43
大算力芯片的生態突圍與算力革命
據的爆發式增長,大算力芯片已成為科技競爭的核心領域之一。 ? 大算力芯片的核心應用場景豐富多樣。在人工智能訓練與推理方面,大模型(如 GPT
DeepSeek推動AI算力需求:800G光模塊的關鍵作用
)800G光模塊
憑借其出色性能,為高速以太網和InfiniBand網絡提供強大支持。
總結
綜上所述,DeepSeek等大規模AI算力
發表于 03-25 12:00
天數智芯通用GPU產品為大模型時代提供強大算力底座
評論