基于全新一代“邃思”推理芯片，滿足云端AI業務高吞吐、低延時的極致性能需求

2021年12月7日，中國上海——燧原科技重磅發布第二代云端人工智能推理加速卡“云燧i20”——這是時隔僅五個月，繼今年7月發布云端人工智能訓練加速卡“云燧T20”之后，燧原科技又推出的全新一代針對云端推理場景的AI加速產品。

?

燧原科技發布第二代人工智能推理加速卡“云燧i20”

作為全新一代云端AI推理加速產品，云燧i20擁有迄今為止業內最大的AI加速卡存儲帶寬，高達819 GB/s，遠超行業同類產品水平；同時全面支持從FP32、TF32、FP16、BF16到INT8的計算精度。單精度FP32峰值算力達到32 TFLOPS，單精度張量TF32峰值算力達到128 TFLOPS，整型INT8峰值算力達到256 TOPS。對比第一代推理產品，云燧i20將浮點算力提升到1.8倍，整型算力提升到3.6倍。

升級后的“馭算TopsRider”軟件棧，在性能、開發效率和模型覆蓋面上得到大幅提升。通過引入通用高層圖優化和大規模算子融合技術，充分釋放了大容量片內存儲和高帶寬存儲的利用率，將模型平均性能提升3.5倍，硬件算力利用率平均提升2倍；通過升級的編程模型以及算子自動分片、自動生成技術，自定義算子開發效率翻倍，模型遷移成本大大降低；此外，馭算增強了對動態性的支持，使云燧i20在檢測、語音識別、語義理解等場景更具競爭力。

在經濟效益和部署靈活性層面，基于虛擬化和多實例加速技術，云燧i20能夠實現單卡多用戶，同時支持6個業務互不干擾、安全隔離運行。讓更多云端推理應用同時享受專有的算力加速，為客戶業務架構帶來輕耦合、靈活可靠的實現方式，顯著提升資源利用率與投入產出比。

?

燧原科技CEO趙立東和COO張亞林發布第二代云端AI推理產品

“云燧i20的發布標志著燧原科技在云端AI算力加速領域，從訓練到推理的完整產品線已全面迭代到第二代，能夠以更有競爭力的產品，為互聯網、智慧城市、智慧政務，以及金融、交通、能源等傳統行業客戶提供更優的AI計算方案。”燧原科技CEO趙立東表示，“當前，我國芯片產業正處于激烈的成長與蛻變時代，燧原科技以‘做大芯片，拼硬科技’為時代使命，基于原始創新的軟硬件架構，正在不斷加速技術創新與產品迭代。性能趕超業內旗艦GPU的云燧i20正是我們的關鍵成果之一。”

超大帶寬推理加速卡，兼具高吞吐、低延時特性

目前以語音識別、圖片識別、視頻內容分析為主的感知類應用，內容推薦和欺詐交易攔截等決策類應用在云端大部分都是以實時在線的方式提供服務；同時神經網絡的參數越來越多，數據帶寬需求也越來越高，兼顧高帶寬和低延遲變得至關重要。云燧i20創新性地采用了高帶寬HBM2E存儲，實現了高達819GB/s的超大帶寬，為各類云端推理業務提供高吞吐、低延時的性能，保障其準確、平穩、高效的運行。

自主創新芯片架構，以更高性價比提供極致化性能

新一代“邃思”AI推理芯片采用第二代高性能計算核心和數據引擎，由12nm工藝打造，通過架構升級，大大提高了單位面積的晶體管效率，從而實現了與目前業內7nm GPU相匹敵的計算能力。不僅如此，基于12nm成熟工藝帶來的成本優勢，使得云燧i20在相同性能表現下更具性價比優勢。并且供應鏈體系更加穩定成熟，客戶的業務需求可以得到及時滿足。

燧原科技發布全新一代“邃思”云端AI推理芯片

燧原科技COO張亞林指出：“云燧i20全面提升了算力，在兼顧全精度算力的同時大幅度提高了整型運算，大力加強了模型覆蓋率和泛化支持的能力，在多項基準測試中，其模型性能、能效比均處于國內領先水平，可以滿足云端推理業務高度多樣化的需求。燧原科技目前已經擁有第二代的訓練和推理產品，針對客戶的業務場景提供原始創新的、具有高性能及性價比的‘訓練+推理’完整解決方案，并支持國產服務器和操作系統，可以幫助客戶進行云端系統部署，全面且持續為客戶創造價值。”

產學研協同，引領原始創新國產AI算力落地

自第一代云端AI推理加速卡“云燧i10”發布后，燧原科技在構建原始創新的通用算力和自主生態上付出了卓絕的努力。以其國產AI算力產品為核心，以商業生態和科研生態為支撐，實現燧原科技的云端AI推理產品在互聯網、金融、政務等多家客戶的商業落地，并獲得認可。

之江實驗室發展合作部副部長吳麗娟表示：“之江實驗室今年3月與燧原科技成立聯合研究中心，圍繞人工智能應用場景，共同開發具有標桿性的技術解決方案，構建開源開放的創新生態系統。目前，燧原科技的第一代人工智能訓練產品‘云燧T11’正在之江實驗室搭建千卡高性能計算的液冷集群，打造符合國家碳中和政策導向的低碳綠色數據中心。未來，我們還會在智能計算的更多領域合作研發。”

上海銀行自貿區陳行長表示：“燧原科技的第一代人工智能推理產品云燧i10具有科技獨創性和技術領先優勢。上海銀行和燧原科技已經簽署了深度戰略合作協議，在智慧金融領域開展了戰略合作，通過場景化、智能化、融合化的創新產品，將金融科技融入銀行服務的全流程，用便捷流暢的客戶體驗、優質高效的服務品質，實現傳統銀行服務方式的突破式變革。燧原科技將助力上海銀行向實現數字化、智能化轉型邁出堅實的一步。”

浪潮信息副總裁劉軍表示：“燧原科技是國產人工智能計算芯片的領軍企業，浪潮信息與燧原科技通過元腦生態聯合創新，在AI整機系統、AI算力優化、場景方案落地等多方面深入合作。此次云燧i20的發布，標志著燧原從訓練到推理全面進入2.0時代，這也是國產AI算力發展的里程碑。我們期待和燧原一起緊密合作，共同推進中國人工智能產業的快速發展。”