電子發燒友網報道(文/李彎彎)近些年AI模型的應用場景飛速擴展,包括自動駕駛、智慧城市、教育、醫療、金融等等,行業的多樣性和應用場景的分散,使得AI模型爆炸式增長。
在日前某論壇上,商湯科技聯合創始人兼大裝置首席科學家林大華談到,商湯科技每年要生產幾萬個AI模型,然而模型豐富,算子的長尾效應也很明顯,10% 經典算子雖然占據90% AI芯片算力,而90%長尾算子卻占據大量計算時間。
多元化的應用催生了多樣的算法框架,算法支持應用,而算法框架是將算法用于解決實際問題,助力AI芯片算力價值體現,充當AI芯片與應用的橋梁。
比如說算法就是諸如LR、GBDT、DNN、DeepFM這樣的實際解決某個數學問題的公式實現。算法框架可以讓算法執行更高效,比如最早玩深度學習的人都用Theano,基于Theano去開發算法很困難,后來有了PyTorch和TensorFlow,讓基于深度學習的算法開發更方便。
目前算法框架已經非常豐富,包括PyTorch、TensorFlow,還有商湯科技開源的Sense Parrots,華為開源的昇思MindSpore,百度飛槳PaddlePaddle等等。
算法工程師其實是基于算法框架開發AI算法的,也就是說深度學習框架銜接起了硬件芯片算力和上面AI算法應用,然而AI訓練框架逐漸豐富,但未形成統一的芯片接口,這使得AI訓練芯片對框架逐一適配的成本高昂,這也阻礙了AI芯片在市場應用上的快速迭代。
為此,商湯科技希望基于已經開源開放的算法體系,構建統一的接口,把大家協同在一起,在軟件層面,在算法的結構分解出一些標準算子,表明哪些算子在哪些應用場景中最為重要,這樣可以讓大家能夠把有限的適配資源,投放到更有用的地方。
商湯給出的軟件解決方案包括了算法分級體系和標準算子接口體系。據林大華介紹,算法分級體系首先是從影響力、性能、部署特性三個維度,即算法模型在學術界和工業界的影響力,算法模型的精度和速度,以及算法模型的部署友好性,將AI算法進行分級,這樣可以給出方向性的應用參考。
接著是卷積輸入配置頻率統計,每個算法模型在實際訓練中存在不同的卷積輸入參數配置,不同參數配置的卷積算子使用頻率存在較大的差異。
再得出高優Spec優化清單,從算法模型優先級評估+模型卷積輸入配置頻率,得到模型重要性和卷積輸入配置頻率加權評分,再得到高優Spec優化清單,芯片廠商可參考優化的清單進行針對性優化。
總之,基于算法分級體系的算子優化方法可以助力挖掘高優Spec,確認常用卷積輸入配置優化優先級,提高芯片廠商適配能效。
長尾算子在實際應用中占比非常高,但卻不在標準算法庫里面,因此需要建立標準算子接口來提升芯片和框架的適配。
標準算子接口體系,包括統一算子接口及函數簽名和一致性測試套件。主要特點是,不依賴具體的框架和芯片,邏輯簡單、易閱讀、易擴展,與標準接口定義保持一致,具有可移植性和強適用性,提供一致性的錯誤處理機制,支持主流開發框架和應用模型。
傳統芯片和框架適配流程,存在這樣的問題:1、廠商合作前溝通成本高;2、適配工作量難度高,風險難以控制;3、適配案例和經驗難以復用到其它芯片和框架適配場景中。而接入標準算子接口體系的芯片和框架適配流程,有幾個優點:1、廠商合作前沒有額外溝通成本;2、工作量小、難度低,風險可控;3、一次接入即可完成對主流芯片、框架適配場景的支持。
整體而言,近些年AI產業在芯片算力、算法、框架,以及應用方面都有很大的進步,然而如果AI產業要長期健康的發展,還需要上下游機構、廠商一起,攜手合作構建出一個繁榮的生態,這中間的算法框架在連接起底層芯片和上層業務方面,承擔著重要責任。
在日前某論壇上,商湯科技聯合創始人兼大裝置首席科學家林大華談到,商湯科技每年要生產幾萬個AI模型,然而模型豐富,算子的長尾效應也很明顯,10% 經典算子雖然占據90% AI芯片算力,而90%長尾算子卻占據大量計算時間。
多元化的應用催生了多樣的算法框架,算法支持應用,而算法框架是將算法用于解決實際問題,助力AI芯片算力價值體現,充當AI芯片與應用的橋梁。
比如說算法就是諸如LR、GBDT、DNN、DeepFM這樣的實際解決某個數學問題的公式實現。算法框架可以讓算法執行更高效,比如最早玩深度學習的人都用Theano,基于Theano去開發算法很困難,后來有了PyTorch和TensorFlow,讓基于深度學習的算法開發更方便。
目前算法框架已經非常豐富,包括PyTorch、TensorFlow,還有商湯科技開源的Sense Parrots,華為開源的昇思MindSpore,百度飛槳PaddlePaddle等等。

算法工程師其實是基于算法框架開發AI算法的,也就是說深度學習框架銜接起了硬件芯片算力和上面AI算法應用,然而AI訓練框架逐漸豐富,但未形成統一的芯片接口,這使得AI訓練芯片對框架逐一適配的成本高昂,這也阻礙了AI芯片在市場應用上的快速迭代。

為此,商湯科技希望基于已經開源開放的算法體系,構建統一的接口,把大家協同在一起,在軟件層面,在算法的結構分解出一些標準算子,表明哪些算子在哪些應用場景中最為重要,這樣可以讓大家能夠把有限的適配資源,投放到更有用的地方。
商湯給出的軟件解決方案包括了算法分級體系和標準算子接口體系。據林大華介紹,算法分級體系首先是從影響力、性能、部署特性三個維度,即算法模型在學術界和工業界的影響力,算法模型的精度和速度,以及算法模型的部署友好性,將AI算法進行分級,這樣可以給出方向性的應用參考。
接著是卷積輸入配置頻率統計,每個算法模型在實際訓練中存在不同的卷積輸入參數配置,不同參數配置的卷積算子使用頻率存在較大的差異。
再得出高優Spec優化清單,從算法模型優先級評估+模型卷積輸入配置頻率,得到模型重要性和卷積輸入配置頻率加權評分,再得到高優Spec優化清單,芯片廠商可參考優化的清單進行針對性優化。
總之,基于算法分級體系的算子優化方法可以助力挖掘高優Spec,確認常用卷積輸入配置優化優先級,提高芯片廠商適配能效。

長尾算子在實際應用中占比非常高,但卻不在標準算法庫里面,因此需要建立標準算子接口來提升芯片和框架的適配。
標準算子接口體系,包括統一算子接口及函數簽名和一致性測試套件。主要特點是,不依賴具體的框架和芯片,邏輯簡單、易閱讀、易擴展,與標準接口定義保持一致,具有可移植性和強適用性,提供一致性的錯誤處理機制,支持主流開發框架和應用模型。

傳統芯片和框架適配流程,存在這樣的問題:1、廠商合作前溝通成本高;2、適配工作量難度高,風險難以控制;3、適配案例和經驗難以復用到其它芯片和框架適配場景中。而接入標準算子接口體系的芯片和框架適配流程,有幾個優點:1、廠商合作前沒有額外溝通成本;2、工作量小、難度低,風險可控;3、一次接入即可完成對主流芯片、框架適配場景的支持。
整體而言,近些年AI產業在芯片算力、算法、框架,以及應用方面都有很大的進步,然而如果AI產業要長期健康的發展,還需要上下游機構、廠商一起,攜手合作構建出一個繁榮的生態,這中間的算法框架在連接起底層芯片和上層業務方面,承擔著重要責任。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
AI芯片
+關注
關注
17文章
2128瀏覽量
36793 -
AI算法
+關注
關注
0文章
271瀏覽量
13152
發布評論請先 登錄
相關推薦
熱點推薦
恩智浦推出全新eIQ Agentic AI框架
恩智浦半導體宣布推出全新eIQ Agentic AI框架,進一步鞏固其在安全實時邊緣AI領域的領導地位。該工具支持在邊緣設備上直接實現自主智能體功能,助力資深與新手設備開發人員簡化并加速智能體
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片到AGI芯片
、現階段更智能、更接近AGI的6中算法與模型
1、MoE模型
MoE模型作為Transfomer模型的后繼者,代表著AI技術的一項重大創新和發展。
優勢:
在于能處理龐大的參數規模,顯著減少內存占用
發表于 09-18 15:31
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的科學應用
主要步驟:
①溯因②假說③實驗
1、科學推理的類型
①演繹②歸納
2、自動化科學發現框架
AI-笛卡兒-----自動化科學發現框架,利用數據和知識來生成和評估候選的科學假說。
4項規則:三、直覺
發表于 09-17 11:45
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的未來:提升算力還是智力
持續發展體現在:
1、收益遞減
大模型的基礎的需要極大的算力,這首先源于昂貴的高性能AI芯片,然后是寶貴的電力、水等與環境相關的資源。
收益遞減體現在:
①模型大小
②訓練數據量
③訓練算法的優化
2
發表于 09-14 14:04
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+第二章 實現深度學習AI芯片的創新方法與架構
算法
5.2加速矩陣乘法的芯片架構
①新的矩陣乘法器架構
②基于RISC-V的矩陣乘法擴展指令集
③用信息論的思想來減少AI推理計算量
三、用于邊緣側訓練或推理的AI
發表于 09-12 17:30
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片的需求和挑戰
的工作嗎?
從書中也了解到了AI芯片都有哪些?像CPU、GPU、FPGA、ASIC都是AI芯片。
其他的還是知道的,FPGA屬于AI
發表于 09-12 16:07
AI的核心操控:從算法到硬件的協同進化
? ? ? ?人工智能(AI)的核心操控涉及算法、算力和數據三大要素的深度融合,其技術本質是通過硬件與軟件的協同優化實現對復雜任務的自主決策與執行。這一過程依賴多層技術棧的精密配合,從底層的芯片架構
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+可期之變:從AI硬件到AI濕件
的不同。隨著AI熱潮的興起,大腦的抽象模型已被提煉成各種的AI算法,并使用半導體芯片技術加以實現。
而大腦是一個由無數神經元通過突觸連接而成的復雜網絡,是極其復雜和精密的。大腦在本質上
發表于 09-06 19:12
如何利用AI算法進行裝置數據的異常檢測?
- 異常閉環” 的全流程設計,實現精準、高效的異常識別。以下是具體實施框架與關鍵步驟: 一、第一步:明確裝置數據異常類型與檢測目標 在選擇 AI 算法前,需先定義 “異?!?的具體場景 —— 工業裝置的異常并非單一形態,不同異
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+內容總覽
,其中第一章是概論,主要介紹大模型浪潮下AI芯片的需求與挑戰。第二章和第三章分別介紹實現深度學習AI芯片的創新方法和架構。以及一些新型的算法
發表于 09-05 15:10
AI 芯片浪潮下,職場晉升新契機?
芯片設計為例,從最初的架構選型,到算法適配、性能優化,每個環節都考驗著工程師的專業素養。在設計一款面向智能安防領域的 AI 芯片時,需要深入研究安防場景下圖像識別
發表于 08-19 08:58
【書籍評測活動NO.64】AI芯片,從過去走向未來:《AI芯片:科技探索與AGI愿景》
到AGI,一起來探索AI芯片
本書從創新視角出發,系統梳理了AI芯片的前沿技術與未來方向,串聯起從算法到系統的實現路徑,全景式展現
發表于 07-28 13:54
Nordic收購 Neuton.AI 關于產品技術的分析
Nordic Semiconductor 于 2025 年收購了 Neuton.AI,這是一家專注于超小型機器學習(TinyML)解決方案的公司。
Neuton 開發了一種獨特的神經網絡框架,能夠
發表于 06-28 14:18
AlphaEvolve有望革新AI玩具芯片設計,算法進化驅動能效與成本雙突破
電子發燒友網綜合報道,近期,谷歌?DeepMind發布了一款AlphaEvolve,是一款通用科學AI代理,基于大語言模型Gemini系列與進化計算框架,專注于算法發現與優化。可以支持數百行代碼
Deepseek海思SD3403邊緣計算AI產品系統
海思SD3403邊緣計算AI框架,提供了一套開放式AI訓練產品工具包,解決客戶低成本AI系統,針對差異化AI
應用場景,自己采集樣本數據,進
發表于 04-28 11:05
算法框架是AI芯片與商業應用的橋梁
評論