4月12日，第二期“大家來談芯|解鎖RISC-V技術力量”在上海臨港新片區(qū)頂科永久會址舉辦，本期沙龍聚焦RISC-V技術，圍繞AI時代的RISC-V市場機會、RISC-V在汽車領域的應用進展與EDA助力RISC-V開發(fā)等話題，多位業(yè)內嘉賓發(fā)表了主旨演講。

會上，時擎科技高級技術總監(jiān)曹英杰以“RISC-V與大模型探索”為題，將大模型作為切入點，探討了RISC-V在大模型應用中的可能。

時擎科技高級技術總監(jiān) 曹英杰

時擎科技是國內最早投入RISC-V處理器研發(fā)的團隊之一，18年初就啟動了RISC-V處理器內核的自研，也一直積極參與RISC-V相關的生態(tài)建設，是RISC-V國際基金會成員，也是中國RISC-V產業(yè)聯(lián)盟的副理事長單位。

曹英杰表示，大模型已經(jīng)跨過AIGC的“iPhone”時刻，其輕量化分支已經(jīng)出現(xiàn)，而端側部署將成為新的趨勢，這就給RISC-V帶來了機會。

四個原因驅使企業(yè)愿意在RISC-V在大模型硬件應用上投入資源。從市場空間來看，AIGC的爆發(fā)不可阻擋，市場空間巨大，哪怕只“分一杯羹”，都足以支持重新開發(fā)基于RISC-V內核的大模型硬件；

從技術走勢來看，大模型推理正在下沉到端側，Nvidia在端側的統(tǒng)治力并不強大，而RISC-V的特點也更適合端側；

從市場格局來看，Nvidia在大模型硬件上形成了實施壟斷，天下苦Nvidia久矣，各大廠和創(chuàng)業(yè)公司都在推出基于RISC-V技術的自研AI芯片；

從國家支持來看，在GPU被斷供的背景下，擁有大量社區(qū)資源、生態(tài)逐步成型的RISC-V是進行替代的最優(yōu)解。

曹英杰舉了兩個例子，一個是前面提到過的Meta的MTIA，另一個是Tenstorrent的方案，由Tensix Core組成PE陣列，目標是將數(shù)據(jù)中心變成一個全聯(lián)通的PE計算資源池，跨PE、跨芯片、跨板卡計算對用戶透明，提高大模型SIMD/MIMD場景下的資源利用。

時擎科技基于RISC-V的處理器系列有三類，即TM主控處理器、TD系列DSP/向量處理器，以及TimesFormer DSA智能處理器。針對大模型加速的方案，主要是其TimesFormer DSA智能處理器方案。

TimesFormer是時擎科技自主設計的可適應未來3到5年端側智能計算需求的DSA計算架構，具有高能效比、高性價比、可伸縮、可擴展等特點，還容易上手。

目前，時擎科技可以提供AI算法、部署工具和處理器三位一體的方案，TimesFormer高度靈活可擴展的架構，能快速升級支持大模型。預計2024年三季度發(fā)布的TF3.0，將提供針對注意力機制優(yōu)化的新PE，針對大模型升級數(shù)據(jù)流控制器及配套工具鏈/軟件棧，增加Packet Engine, 可以作大模型AI芯片中的PE計算節(jié)點。