電子發燒友網報道（文/李彎彎）AI、5G等新興產業的蓬勃發展催生了海量數據計算需求，同時AI算法模型持續迭代，復雜化日益凸顯，數字經濟時代下市場需要強大、普惠的算力引擎。而從供給端來看，先進制程的迭代周期變長，使得芯片能效比的提升并不顯著。

針對AI應用特點實現硬件架構創新是必然趨勢，墨芯人工智能CEO王維在某論壇上談到，依托對AI的理解用軟硬一體解決算力瓶頸問題是行業公認的發展方向。他認為，稀疏化能夠有效應對算力瓶頸，實現原理是，不存儲和不處理零值，從而得到更小且更快的模型。

軟硬一體化稀疏路徑符合AI計算核心訴求軟硬一體化稀疏路徑符合AI計算高吞吐、低功耗、低延時的核心需求。AI稀疏產業化的成功要素包括：1、跨算法、軟件、硬件領域的協同開發；2、擁有持續多層次優化稀疏運算的底層算法能力；3、架構需保證可編程性、高度可拓展屬性及快速迭代能力。

稀疏化路徑已具備批量化工程應用能力。英偉達在2020年推出的A100產品中，就率先引入稀疏Tensor Core實現4：2結構化稀疏，稀疏是神經網絡輕量化的重要手段，英偉達稀疏化產品有效引領市場應用趨勢。稀疏化架構可與現有AI軟件生態深度適配，例如英偉達直接使用Tensor Core進行稀疏矩陣乘累加操作，無需進行底層編程。

基于雙稀疏特點，自研核心AI架構墨芯是全球最早研發稀疏化算法及架構的企業，并在2018年開始稀疏化的全球專利布局，該公司也是最早商用稀疏化產品實現銷售的，第一款FPGA產品在2019年Q4開始產生銷售。

王維表示，現有芯片架構設計在稀疏化支持中面臨較大局限，比如CPU架構，可支持跳點運算，但因其算力限制，僅能夠支持邊緣端應用，無法支持更大的模型，再比如GPU架構，只能進行并行計算，所有元素（包括0元素）均參與運算，無法實現高倍數加速。

基于雙稀疏特點，墨芯自研核心AI架構。其雙稀疏架構設計理念：平衡的權重和激活張量剪枝技術，可將精度損失降至最低的前提下保持對硬件的友好度；墨芯獨有的剪枝和壓縮技術可以再許多網絡和應用中實現最多高到32倍的稀疏。

墨芯首款稀疏化云端AI芯片Antoum-1已經回片，實測性能ResNet 50超33000SPS；墨芯板卡S4（單顆Antoum-1）僅30W功耗，實測性能實現英偉達主流產品T4近16倍能效比；墨芯板卡S4對比英偉達主流產品Latency可以做到1/4-1/5。

稀疏化計算產品商業落地，將賦能AI產業變革。一、助力云服務商降低單位算力擁有成本，2021年，Nvidia在中國營收超過38億美金，其中阿里，騰訊等頭部互聯網公司采購金額基本超過1億美金。隨著AI持續發展，數據量的指數上升導致AI芯片的需求會持續上升，云服務商采購額將逐年增加，因此他們對降低成本的訴求非常強勁，基于Antoum-1的推理卡S4相較于英偉達對標推理卡T4，ResNest50及BERT每FPS/SPS成本降低約85%。

二、助力云服務商縮減能耗成本，電費支出是數據中心最大的營業成本，平均數據中心近60%的營業成本是電力成本，降低能耗是數據中心和云服務商的最大痛點，2021年全國數據中心的耗電量占社會總用電的近3%，且增長率已連續8年超過12%，基于Antoum-1的推理卡S4相較于Nvidia主力推理卡T4，ResNest50及BERT每FPS/SPS能耗成本降低約90%。

小結目前基于稀疏化的AI架構主要面向云端訓練場景，不過理論上來說，稀疏化訓練由于能大幅降低對內存、帶寬與計算的需求，十分適合訓練，未來墨芯在滿足推理市場的需求后，將切入訓練市場，建立稀疏訓練生態，產品在軟件層面對訓練做更多的開發，支持訓練專用的算子，同時硬件上也會為訓練定義架構。