數據算力需求的日益增長帶動了AI芯片行業的興起，作為中國AI芯片的中堅力量，燧原科技聚焦于AI訓練與推理不斷推出芯片以及加速卡產品。12月7日，燧原科技重磅發布第二代云端人工智能推理加速卡“云燧i20”，這是時隔僅五個月，繼今年7月發布云端人工智能訓練加速卡“云燧T20”之后，燧原科技又推出的全新一代針對云端推理場景的AI加速產品。

燧原科技CEO趙立東和COO張亞林發布第二代云端AI推理產品

燧原科技CEO趙立東在發布會上表示，我們的第1代訓練和推理產品已經在國家重點實驗室、互聯網、智慧城市、智慧金融等幾大方向上實現了突破，已產生了過億的訂單和收入。在這個過程中，我們也通過多種業務模式和產學研結合，建立了強大的朋友圈和生態圈。隨著第2代訓練和推理兩條產品線逐步量產，以及軟件生態的不斷優化和完善，業務的加速落地和規模化正按計劃逐步實現。未來，我們除了繼續大力拓展上述的幾個業務方向之外，還會在高性能計算，交通和能源等領域投入資源，拓展商機。


從2017年到2023年，整個AI云端市場訓練和推理產品比例在發生變化，推理產品比例在慢慢變高。基于這樣的AI市場趨勢，燧原科技COO張亞林表示，燧原科技也在做產品線拓展，AI的業務從傳統的單一的機器視覺、聲音、文字，還有決策、推薦等方向性的算法，已經變成多場景、多應用的落地，廣泛分布在用戶日常生活中。

12nm工藝打造的新一代“邃思”AI推理芯片

第二代云端推理加速卡云燧i20，基于新一代“邃思”AI推理芯片，它采用第二代高性能計算核心和數據引擎，由12nm工藝打造，通過架構升級，大大提高了單位面積的晶體管效率，從而實現了與目前業內7nm GPU相匹敵的計算能力。不僅如此，基于12nm成熟工藝帶來的成本優勢，使得云燧i20在相同性能表現下更具性價比優勢。并且供應鏈體系更加穩定成熟，客戶的業務需求可以得到及時滿足。

燧原科技發布全新一代“邃思”云端AI推理芯片

具體來看，邃思推理芯片的計算架構具備全AI的算力空間，其中單精度FP32達到了32 TFLOPS，以及單精度張量TF32，達到了128 TFLOPS，它同樣具備半精度BF16/FP16的算力，達到128 TFLOPS。最重要的在推理方面，提升整個整數精度INT8，達到256TOPS。也就是，從FP32到INT8，包含中間精度TF32、BF16、FP16五個精度構成了全AI算力空間，滿足各種各樣推理的客戶需求。

邃思推理芯片用16位算力做到32位的精度效果。如何做到的？它具備TF32張量單精度，擁有4倍于FP32的算力，但是在整個模型上擁有99%的精度一致性。于是，就可以用4倍的FP32算力達到99%FP32的算力精度，這也是中國第一顆TF32的推理芯片。

邃思推理芯片的數據架構，擁有完全自研的SVS (Sparse Value Segment ) 數據壓縮格式。它能夠進行獨立的分層壓縮和硬件自動循環解壓，使得所有的數據，特別是稀疏數據在傳輸過程之中，能夠節省帶寬和功耗。它支持硬件指令預取的操作，使得指令的預取、數據的傳輸和計算可以同時進行。進行并行的數據廣播，使得同樣的數據可以廣播到多個處理器上進行并行執行。同時，它具有很強的動態功耗控制，讓整個數據傳輸的動態功耗變得非常的有效。

在存儲方面，燧原科技依然采用了業內最領先的HBM2E，由2顆HBM2E構建，單芯片容量達到16GB，最大帶寬達到819GB/s，在整個封裝上，依然采用2.5D的高級封裝，整合了五顆芯片，它的整個封裝尺寸達到了55毫米乘以55毫米。大芯片加上兩顆HBM2E存儲的護航，構建了計算加存儲的互促，使得AI的推理在帶寬、存儲容量和算力上能夠進行極致的發揮。

云燧i20加速卡性能顯著提升

比上一代云燧i10相比，云燧i20在浮點32位、浮點16位、整點8位的算力，以及存儲帶寬，存儲類型等方面都有巨大提升。云燧i20單精度FP32峰值算力達到32 TFLOPS，單精度張量TF32峰值算力達到128 TFLOPS，整型INT8峰值算力達到256 TOPS。對比第一代推理產品，云燧i20將浮點算力提升到1.8倍，整型算力提升到3.6倍。

燧原科技發布第二代人工智能推理加速卡“云燧i20”

和業內主流的GPU的次旗艦相比，云燧i20的浮點16位的算力、INT8的算力，都是其2倍，內存帶寬是2.65倍。

基準測試部分，在業內的主流模型中以友商的GPU次旗艦為baseline，從圖像分類、識別到目標檢測到圖像分割到圖像超分等整個模型來看，云燧i20是友商的GPU次旗艦的2.5到3.7倍不等。



一個例子是，針對bert文本場景分析，每一個白色的框是一段文本，通過邃思推理芯片DTU和GPU的實時渲染和處理，分析出每一段文字的情感，這個情感用彩色框標注為各種情緒。運時顯示，DTU整個分析速度明顯加快，彩色的框出現的比率明顯增高，頻率也越來越快。同時，DTU的實時性能是GPU的2.5倍以上，而實時的延時DTU只有GPU的不到一半。

軟件生態升級，搭建訓推一體化

此次，在軟件支持層面，升級后的“馭算TopsRider”軟件棧，在性能、開發效率和模型覆蓋面上得到大幅提升。通過引入通用高層圖優化和大規模算子融合技術，充分釋放了大容量片內存儲和高帶寬存儲的利用率，將模型平均性能提升3.5倍，硬件算力利用率平均提升2倍；通過升級的編程模型以及算子自動分片、自動生成技術，自定義算子開發效率翻倍，模型遷移成本大大降低；此外，馭算增強了對動態性的支持，使云燧i20在檢測、語音識別、語義理解等場景更具競爭力。

張亞林表示，T20和i20組合的訓推一體化系統日臻完善，在TopsRider軟件系統里，從高層的圖優化到中間的算子庫再到中間的編程模型，最后到底層的Runtime，四個階段中分別統一了整個訓練和推理引擎，使得用一套結構可以支持所有訓練和推理軟件棧，通過統一的表達，統一的訓練推理的算子編程模型和Runtime，訓練和推理棧進行了深度融合和充分泛化，在運用訓推一體化時更高效、精密和兼容。

同時，我們支持Lazy、Graph、Eager、Trace mode四種圖執行模式，這四種模式涵蓋了廣泛的框架和圖執行，它能適配各種各樣的訓練和推理的場景。通過今天i20和i20相關匹配的DTU2.5和TopsRider2.5的發布，燧原科技已經擁有第二代全系統、全自主的技術棧。

云燧i20已量產應用

目前，已經有不少合作伙伴推出了基于燧原科技i20板卡的服務器產品，包括浪潮、華三和超威等等，產品涵蓋4U到2U的服務器，搭配16張DTU的卡到2到4張DTU的卡，

比如，浪潮標準的4U服務器配置了16張i20板卡，以及2CPU，通過16張i20板卡，4U服務器能夠提供非常高的算力密度。



浪潮信息副總裁劉軍表示：“燧原科技是國產人工智能計算芯片的領軍企業，浪潮信息與燧原科技通過元腦生態聯合創新，在AI整機系統、AI算力優化、場景方案落地等多方面深入合作。此次云燧i20的發布，標志著燧原從訓練到推理全面進入2.0時代，這也是國產AI算力發展的里程碑。我們期待和燧原一起緊密合作，共同推進中國人工智能產業的快速發展。”

此外，在身份證識別、人像卡通化、人體姿態檢測、車路協同等應用場景，燧原云燧推理卡和相關識別技術的搭配，實現快速、精準的智能效果。





燧原科技以其國產AI算力產品為核心，以商業生態和科研生態為支撐，實現燧原科技的云端AI推理產品在互聯網、金融、政務等多家客戶的商業落地，并獲得認可。在第一代訓練和推理產品產生了過億的訂單和收入之后，相信第二代產品將加速向更多領域進行滲透。根據規劃，面向訓練和推理的下一代產品T30/T31,i30已經在研發中，三年完成兩代產品迭代，隨著燧原科技產品和技術路線圖延伸，將有更多驚喜的產品和技術的展露。