今年，“能寫代碼、能寫論文”的ChatGPT可謂是火爆全球，AI技術應用迎來了“iPhone時刻”。一時間國內也涌現了眾多大模型，部分大模型也陸續開始向公眾開放；另一方面，全國各地也都在搶占人工智能的資源，紛紛投巨資建設人工智能算力中心，人工智能賽道可謂“百舸爭流”。

在這兩個現象的背后，筆者卻發現了不一樣的地方，各地新建動輒幾百PB算力的智算中心，是以半精度(FP16)來作為計量標準的，甚至有些智算算力中心是通過NPU架構芯片堆出來的算力。

但其實業界公認，NPU天生特點決定了其在AI應用領域泛用性不足，因此NPU并不適合作為AI算力通用底座。

那我們就來聊一聊，為什么ChatGPT、自動駕駛這些領域不適合廣泛采用NPU芯片？在正式開聊之前，先說明一下這里面的兩個關鍵詞：NPU和精度

（1）NPU和精度

在人工智能領域，AI芯片可以分為大概分為GPGPU、FPGA和ASIC。其中，GPGPU在人工智能的計算市場銷售額占比最大，據集微咨詢（JW Insights）統計，AI類芯片在2022年352億美元的市場規模中，GPGPU占比接近60%，霸主地位穩固。

我們知道 CPU遵循的是馮·諾依曼架構，核心是存儲程序/數據、串行順序執行。CPU的架構中需要大量的空間去放置存儲單元和控制單元，相比之下計算單元只占據了很小的一部分，所以CPU在進行大規模并行計算方面受到限制，相對而言更擅長于處理邏輯控制。

與CPU相比，而GPU芯片空間的80%以上都是計算單元，即GPU擁有更多的計算單元用于數據并行處理，比如實現人工智能的深度學習、比特幣挖礦等等。GPU其實也可以簡單分為兩種，一種是主要搞圖形渲染的，也叫做GPU顯卡；另一種是主要搞計算的，叫做GPGPU，也叫通用GPU。GPGPU芯片采用統一渲染架構，計算通用性最強，可以適用于多種算法，在很多算法前沿的領域，GPGPU是最佳選擇。

FPGA是一種半定制芯片，對芯片硬件層可以靈活編譯。但是缺點也比較明顯，當處理的任務重復性不強、邏輯較為復雜時，FPGA效率就會比較差。

ASIC是一種為專門目的而設計的芯片（全定制），根據特定算法定制的芯片架構，算力強大，但專業性強縮減了其通用性，算法一旦改變，計算能力會大幅下降，需要重新定制。我們知道的NPU、TPU就是這種架構，都屬于ASIC定制芯片。

芯片的算力和精度又有怎樣的聯系？

根據參與運算數據精度的不同，可把算力分為雙精度算力（64位，FP64）、單精度算力（32位，FP32）、半精度算力（16位，FP16）及整型算力（INT8、INT4）。數字位數越高，意味著精度越高，能夠支持的運算復雜程度就越高，適配的應用場景也就越廣。

舉個例子，在科學計算、工程計算等領域，比如藥物設計、新材料、航空航天、基因工程，天氣預報等，都是需要處理的數字范圍大而且需要精確計算的科學計算，需要雙精度算力（FP64）的支持；在AI大模型、自動駕駛、深度學習等領域，一般需要單精度算力（FP32）的支持，實現人工智能模型的訓練；而像數字孿生、人臉識別等利用訓練完畢的模型進行推理的業務，適用于半精度算力（FP16）或者整型算力（INT8、INT4）。

GPGPU芯片一般會布局大量的雙精度和單精度的計算區域，從NVIDIA旗艦產品白皮書中可以看出，其對FP64雙精度浮點計算的布局占25%，對FP64/FP32高精度區域的布局占整個芯片的約一半左右。

圖 NVIDIA高精度GPGPU架構圖

而NPU芯片主要用于加速神經網絡的運算，解決傳統芯片在神經網絡運算時效率低下的問題。NPU芯片包括乘加、激活函數、二維數據運算、解壓縮等模塊。它的優勢是大部分時間集中在低精度的算法，新的數據流架構或內存計算能力。NPU芯片的算力一般以半精度算力（FP16）和整型算力（INT8、INT4）為主，擅長處理視頻、圖像類的海量多媒體數據，不涉及高精度算力應用的領域。

圖 華為NPU計算單元圖

綜上所述，GPGPU可以支持從低精度到高精度所有類型的運算，而NPU僅能支持低精度運算，這就決定了兩者可適用的場景存在差距。

在此情況下，某些NPU廠商混淆視聽，只說自己是“算力最強的AI處理器”，卻沒有說清楚計算精度這一前提條件，是一種不負責的行為。

（2）GPGPU和NPU技術路線對比

說了這么多，我們發現GPGPU和NPU屬于兩個不同應用領域的芯片，GPGPU的算力精度涵蓋較廣，應用的領域也更廣泛，整個產業的生態相對完整，但是芯片設計相對比較復雜，前一陣美國限制向中國出口的AI芯片也是高端的GPGPU芯片。

而NPU芯片主要是覆蓋低精度，應用領域比較受限，特別是很多NVIDIA的業務如果遷移到NPU環境下，需要大量的遷移適配工作，而且模型在遷移后也會遇到各種各樣的算法、引擎識別精度下降的問題。

表 ：GPGPU和NPU技術路線對比

NPU更符合“術業有專攻”，在AI應用推理環節，量身定制的NPU其實也有這效率和能耗的優勢；但要是強行廣泛應用于科學計算、模型訓練等領域，NPU只能表示“臣妾做不到啊”。

（3）ChatGPT背后的算力面紗

當我們了解了GPGPU和NPU技術路線之后，我們再來揭開ChatGPT背后的算力面紗。

ChatGPT的開發邏輯，是近些年逐步替代了RNN(循環神經網絡)和 CNN(卷積神經網絡) 的Transformer架構語言模型。相較于RNN，Transformer引入了自我注意力(Self-attention)機制，結合算法優化可以實現并行運算，大量節約訓練時間。可以看出，Transformer作為人工智能算法的進化是計算機軟件層面的一個發展。

因此，為了支撐這種算法的不斷進化，需要一整套通用算力系統。通俗而言，ChatGPT算法是在不斷優化進步的，結合算法定制NPU很難滿足大模型迭代發展需求。

也就是說，想要誕生ChatGPT這樣的革命性成果，需要構建的是由高精度GPGPU+ CPU的通用異構計算體系，讓各種嘗試和各種創新在通用體系上自由生長。

而事實上，ChatGPT以及國內眾多的大模型，如紫東太初大模型、文心一言、日日新SenseNova大模型等等，也都是在這種由高精度GPGPU組成的異構計算體系中誕生的。

我國超大規模預訓練模型的發展如火如荼，算力需求持續攀升，人工智能計算中心的建設保持快速增長，各地都在加速建設人工智能計算中心，甚至很多算力中心的規劃已經超過了1000P，看樣子應該能滿足各地幾年內的所有人工智能算力需求，但這些算力中心的AI芯片大部分都是NPU架構，目前真正應用起來的地方智算中心的寥寥無幾，實際使用率也低得可憐。

另一方面，各個大模型的廠商、自動駕駛廠商和都在瘋狂搶購高端的GPGPU卡，甚至不惜高價囤積高端GPGPU卡。

在這兩個亂象的背后，我們需要去反思：現階段我們是否需要建設如此大量的、空置的NPU算力中心？我們的算力中心是否應該以幾百PB的FP16值作為評價標準？

編輯：黃飛

?