本文介紹大模型的計算特征(國產平臺介紹、系統挑戰、算子實現、容錯)、框架的并行性支持、未來算法等。
隨著ChatGPT的橫空出世,人工智能大模型成為各行各業熱議的焦點,國內外各種大模型如雨后春筍般涌現,引發了新一輪人工智能熱潮。但在看到大模型取得巨大進步的同時,也要看到當前國內大模型的研發推廣仍然面臨不小的挑戰和壓力。
面對上述挑戰,需從戰略層面統籌考慮大模型研發運營等相關問題,充分發揮“集中力量辦大事”的制度優勢,強化頂層設計,加大統一規劃,加大政策支持和資源投入力度,推動中國人工智能從“跟跑”邁向“領跑”。
一是提高算力規模。進一步完善信息基礎設施,加快推進“東數西算”步伐,加大算力網絡建設力度,為大模型研發運營提供足夠算力,同時進一步提高網絡速度,降低網絡時延,為更多大模型走向應用創造條件。
二是加強數據管理。國家層面加強對數據的管控,明確行業標準,建立數據使用規則,確保大模型訓練數據的質量。同時,針對行業數據,破除不同廠家之間數據互相不能查詢的壁壘,確保大模型訓練有充足、準確的專業數據。
三是建立大模型研發“國家隊”。集中全國頂尖人才和優質資源,舉全國之力進行攻堅突破,同時解決大模型研發中存在的“小而散”問題,減少無效或低效大模型開發對算力和能源的浪費。
四是加大資金投入。建立國家大模型基金,專門用于大模型的研發、訓練等。
五是加大政策支持。面向大模型研發,制訂更加優惠的稅收政策。針對國有企業在大模型研發上投入的資金,允許以兩倍規模計為企業凈利潤。
六是加大科技投入。解決核心技術“卡脖子”問題,特別是加大人工智能芯片研發制造力度。































-
算力
+關注
關注
2文章
1600瀏覽量
16816 -
大模型
+關注
關注
2文章
3715瀏覽量
5247
原文標題:國產大模型的經驗與教訓
文章出處:【微信號:架構師技術聯盟,微信公眾號:架構師技術聯盟】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
了解全國產轉速地磁測量模塊的應用前景
國產MCU工具6個月內給原廠添加200+的經驗分析
云知聲榮登MedAIBench優秀國產醫療大模型榜單
成都匯陽投資關于國產開源模型持續突破,國產AI 競爭力增強
在Ubuntu20.04系統中訓練神經網絡模型的一些經驗
100%全國產工控整機,助力工控“芯”發展
華為CANN與智譜GLM端側模型完成適配
國產芯片多架構開發實踐:從工業控制到邊緣AI的硬件設計經驗
中軟國際科創中心上線阿里Qwen3-235B模型
信創浪潮下,國產主板有什么新的發展機遇?
海辰儲能亮相中國產業發展促進會儲能分會成立大會
國產地物光譜儀在“高光譜-機器學習”模型構建中的表現
國產大模型發展的經驗與教訓
評論