本文介紹大模型的計算特征(國產平臺介紹、系統挑戰(zhàn)、算子實現、容錯)、框架的并行性支持、未來算法等。
隨著ChatGPT的橫空出世,人工智能大模型成為各行各業(yè)熱議的焦點,國內外各種大模型如雨后春筍般涌現,引發(fā)了新一輪人工智能熱潮。但在看到大模型取得巨大進步的同時,也要看到當前國內大模型的研發(fā)推廣仍然面臨不小的挑戰(zhàn)和壓力。
面對上述挑戰(zhàn),需從戰(zhàn)略層面統籌考慮大模型研發(fā)運營等相關問題,充分發(fā)揮“集中力量辦大事”的制度優(yōu)勢,強化頂層設計,加大統一規(guī)劃,加大政策支持和資源投入力度,推動中國人工智能從“跟跑”邁向“領跑”。
一是提高算力規(guī)模。進一步完善信息基礎設施,加快推進“東數西算”步伐,加大算力網絡建設力度,為大模型研發(fā)運營提供足夠算力,同時進一步提高網絡速度,降低網絡時延,為更多大模型走向應用創(chuàng)造條件。
二是加強數據管理。國家層面加強對數據的管控,明確行業(yè)標準,建立數據使用規(guī)則,確保大模型訓練數據的質量。同時,針對行業(yè)數據,破除不同廠家之間數據互相不能查詢的壁壘,確保大模型訓練有充足、準確的專業(yè)數據。
三是建立大模型研發(fā)“國家隊”。集中全國頂尖人才和優(yōu)質資源,舉全國之力進行攻堅突破,同時解決大模型研發(fā)中存在的“小而散”問題,減少無效或低效大模型開發(fā)對算力和能源的浪費。
四是加大資金投入。建立國家大模型基金,專門用于大模型的研發(fā)、訓練等。
五是加大政策支持。面向大模型研發(fā),制訂更加優(yōu)惠的稅收政策。針對國有企業(yè)在大模型研發(fā)上投入的資金,允許以兩倍規(guī)模計為企業(yè)凈利潤。
六是加大科技投入。解決核心技術“卡脖子”問題,特別是加大人工智能芯片研發(fā)制造力度。































-
算力
+關注
關注
2文章
1528瀏覽量
16740 -
大模型
+關注
關注
2文章
3648瀏覽量
5179
原文標題:國產大模型的經驗與教訓
文章出處:【微信號:架構師技術聯盟,微信公眾號:架構師技術聯盟】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
國產MCU工具6個月內給原廠添加200+的經驗分析
上海交大發(fā)布國產光學大模型Optics GPT
云知聲榮登MedAIBench優(yōu)秀國產醫(yī)療大模型榜單
成都匯陽投資關于國產開源模型持續(xù)突破,國產AI 競爭力增強
在Ubuntu20.04系統中訓練神經網絡模型的一些經驗
100%全國產工控整機,助力工控“芯”發(fā)展
華為CANN與智譜GLM端側模型完成適配
國產芯片多架構開發(fā)實踐:從工業(yè)控制到邊緣AI的硬件設計經驗
中軟國際科創(chuàng)中心上線阿里Qwen3-235B模型
信創(chuàng)浪潮下,國產主板有什么新的發(fā)展機遇?
國產地物光譜儀在“高光譜-機器學習”模型構建中的表現
預防性解決方案如何推動制造業(yè)發(fā)展
國產AI芯片破局:國產TCB設備首次完成CoWoS封裝工藝測試
國產大模型發(fā)展的經驗與教訓
評論