基于超異構(gòu)計算的通用處理器GP-HPU介紹

編者按

我記得之前看過專門介紹各種PU List的文章，最大的感受是：處理器類型很多很多，從APU到ZPU，26個字母都已經(jīng)被用光了。大家可能對這些PU都耳熟能詳，但要說到各個PU之間的關系和協(xié)作，可能大家了解甚少。今天我們會進行基本的介紹。

本文章主要介紹綜合的、融合的基于超異構(gòu)計算的通用處理器GP-HPU（General Purpose Hyper-heterogeneous Processing Unit）。

1 不同處理器類型的分類和協(xié)同

我目前有個基本的思考框架，來把各種PU進行劃分：系統(tǒng)是由分層分塊的模塊組成的，這樣我們可以大致上把系統(tǒng)分為三部分，如上圖所示。

各類PU分析如下：

CPU，中央處理器，是最核心的處理器。目前其他各種處理器，號稱取代CPU的核心地位，這些表述是不對的：你只是代替CPU干臟活累活，一切的控制和管理依然是CPU來完成。

各類加速器芯片。通過CPU+xPU的異構(gòu)計算架構(gòu)，如GPU、FPGA加速器、各類AI芯片（谷歌TPU、graphcore IPU、NPU、BPU等）以及其他各種加速芯片，這類芯片沒法單獨運行，需要有CPU的協(xié)作，構(gòu)成CPU+xPU的異構(gòu)計算的方式運行。

DPU。目前，大家對DPU的理解是，DPU主要負責系統(tǒng)I/O的處理。不管是網(wǎng)絡I/O還是遠程存儲I/O，都需要走網(wǎng)絡，因為DPU被不少人認為是I/O加速的處理器。更深一層的理解，是DPU是作為基礎設施處理器的存在，負責整個系統(tǒng)底層工作的處理。

SOC，系統(tǒng)級芯片。把整個系統(tǒng)的所有處理放在一個芯片里，有各種加速引擎負責性能敏感的工作任務，CPU負責一些基本任務的處理和整個系統(tǒng)的控制和管理。

不管叫什么PU，逃不開這四個類型。

2 場景特點：綜合、通用以及資源預備

許多AI芯片或系統(tǒng)落地面臨的一個主要問題是“我好不容易做了一盤餃子，可用戶需要的是一桌菜肴”。也即是說，客戶需要的是綜合性的系統(tǒng)解決方案，而AI只是其中的一部分，甚至非常小的一部分。

具體的終端應用場景包羅萬象，但云端和邊緣端，卻都是清一色的服務器來提供服務端的運行以及和終端的協(xié)同。這些服務器，可以服務各行各業(yè)、各種不同類型的場景的服務端工作任務的處理。云和邊緣服務器場景，需要考慮服務端系統(tǒng)的特點（微服務化功能持續(xù)解構(gòu)，并且還和多租戶、多系統(tǒng)共存），對系統(tǒng)的靈活性的要求遠高于對性能的要求，需要提供的是綜合性的通用解決方案。

在云和邊緣數(shù)據(jù)中心，當CSP投入數(shù)以億計資金，上架數(shù)以萬計的各種型號、各種配置的服務器的時候，嚴格來說，它并不知道，具體的某臺服務器最終會售賣給哪個用戶，這個用戶到底會在服務器上面跑什么應用。并且，未來，這個用戶的服務器資源回收之后再賣個下一個用戶，下一個用戶又用來干什么，也是不知道的。因此，對CSP來說，最理想的狀態(tài)是，存在一種服務器，足夠通用，即不管是哪種用戶哪種應用運行其上，都足夠高效快捷并且低成本。只有這樣，系統(tǒng)才夠簡單而穩(wěn)定，運維才能簡單并且高效。然后要做的，就是把這種服務器大規(guī)模復制（大規(guī)模復制意味著單服務器成本的更快速下降）。

服務器都是相對通用，服務器上目前大芯片就三個位置，也就是我們通常所說的數(shù)據(jù)中心三大芯片的位置：CPU、業(yè)務加速的GPU以及基礎設施加速的DPU。大家要做的，就是自己芯片的定位，以及同其他各種廠家的各種芯片來競爭這三個位置。

有些專用的芯片，用在特定領域，需要設計專門的服務器，這種方案都流離在整個云和邊緣計算主流體系之外的，落地門檻很高，也很難大規(guī)模落地。

3 超異構(gòu)處理器是什么？

系統(tǒng)持續(xù)演進：

第一階段，性能要求不高，CPU能夠滿足要求。目前數(shù)據(jù)中心大量服務器依然是只有CPU處理器。

第二階段，性能敏感類任務大量出現(xiàn)，不得不進行異構(gòu)加速。如AI訓練、視頻圖像處理，HPC等場景。這類場景，目前的狀況主要：NVIDIA GPU+CUDA為主流，F(xiàn)PGA FaaS非主流，AI類的DSA落地較少（包括谷歌TPU，也不算成功）。

第三階段。DPU的出現(xiàn)，CPU、GPU和DPU共同構(gòu)成數(shù)據(jù)中心的三大處理芯片。

第四階段，再融合。

為什么不是獨立多芯片？為什么需要融合單芯片？融合單芯片是有諸多優(yōu)勢的：

融合有利于計算的充分整合，進一步提升數(shù)據(jù)計算效率；

系統(tǒng)成本跟主要芯片的數(shù)量是直接相關的，融合型單芯片可以進一步降低成本；

融合系統(tǒng)，內(nèi)部功能劃分和交互統(tǒng)一構(gòu)建，相比三芯片方案，可以顯著降低彼此功能和交互的各種掣肘（相互拖累）；

大部分（80%-90%）場景是相對輕量級場景，通過超異構(gòu)的單芯片可以覆蓋其復雜度和系統(tǒng)規(guī)模；

Chiplet加持，可以通過多DIE單芯片的方式，實現(xiàn)重量級場景的覆蓋。

超異構(gòu)處理器，可以認為是由CPU、GPU、各類DSA以及其他各類處理器引擎共同組成的，CPU、GPU和DPU整合重構(gòu)的一種全系統(tǒng)功能融合的單芯片解決方案。

3.1 為什么叫超異構(gòu)處理器？

首先，不能叫超融合處理器。超融合的概念是云計算領域一個非常重要的概念，大致意思是說在小規(guī)模集群能夠把云計算的IaaS層的服務以及云堆棧OS完整部署，可以提供給企業(yè)和私有云場景的云計算解決方案，并且因為和公用云堆棧OS是同一的體系，可以實現(xiàn)混合云的充分協(xié)同。超異構(gòu)處理器和超融合沒有必然聯(lián)系，可以支持小集群的超融合，也可以支持大集群的不“融合”。

NVIDIA對DPU的未來愿景：數(shù)據(jù)量越來越大，而數(shù)據(jù)在網(wǎng)絡中流動，計算節(jié)點也是靠數(shù)據(jù)的流動來驅(qū)動計算，計算的架構(gòu)從以計算為中心轉(zhuǎn)向了以數(shù)據(jù)為中心。所有的系統(tǒng)本質(zhì)上就是數(shù)據(jù)處理，那么所有的設備就都可以是Data Processing Unit。所以，未來以DPU為基礎，不斷地融合CPU和GPU的功能，DPU會逐漸演化成數(shù)據(jù)中心統(tǒng)一的處理器（只是，目前沒有叫超異構(gòu)HPU這個名字罷了）。

不管名稱具體叫什么，這個處理器，一定是基于多種處理引擎混合的（超異構(gòu)計算）、面向宏系統(tǒng)場景的（MSOC，Micro-SOC）、數(shù)據(jù)驅(qū)動的（DPU，Data Processing），一個全新的處理器類型。

4 超異構(gòu)處理器和傳統(tǒng)SOC的區(qū)別

嚴格來說，超異構(gòu)處理器也是屬于SOC的范疇。但如果只是稱之為SOC，那無法體現(xiàn)超異構(gòu)處理器和傳統(tǒng)SOC的本質(zhì)區(qū)別。這樣，不利于我們深刻認識超異構(gòu)處理器的創(chuàng)新價值所在，以及在支撐超異構(gòu)處理器需要的創(chuàng)新技術和架構(gòu)方面積極投入。

如下表格為超異構(gòu)處理器和傳統(tǒng)SOC的對比：