關(guān)于“GPU性能的硅前預(yù)測(cè)”的5個(gè)問(wèn)題

當(dāng)我們談?wù)?a href="http://www.3532n.com/tags/gpu/" target="_blank">GPU性能的時(shí)候就不能回避PPA這個(gè)概念。性能(Performance)、功耗(Power）、面積(Area)組成了現(xiàn)代大型芯片的三維。硬件架構(gòu)、頻率和工藝制程共同決定了一塊芯片在PPA三角形中的表現(xiàn)。創(chuàng)造完美的“三邊型戰(zhàn)士”需要付出巨大的代價(jià)，而我們的目標(biāo)是在成本可控的情況下做出更符合客戶需求的芯片。PPA是在芯片立項(xiàng)之初就有明確的設(shè)計(jì)指標(biāo)，而性能這一項(xiàng)涉及到了各個(gè)子模塊的協(xié)作，需要從設(shè)計(jì)開(kāi)始就同步進(jìn)行方案的驗(yàn)證。

圖1：PPA介紹

接下來(lái)讓我們通過(guò)5個(gè)問(wèn)題來(lái)進(jìn)一步了解“GPU性能的硅前預(yù)測(cè)”。

為什么要關(guān)心硅前性能???

人們都很認(rèn)可“GPU性能非常關(guān)鍵”這一觀點(diǎn)。從2011年到2022年，GPU單卡算力提高了10倍以上，而GDDR/HBM帶寬提高大約2倍以上。對(duì)于國(guó)產(chǎn)GPU而言，能夠提供與國(guó)際一線大廠媲美的性能是關(guān)鍵點(diǎn)所在。因此，無(wú)論是GPU硬件和軟件架構(gòu)師，還是市場(chǎng)客戶都對(duì)Benchmark在GPU硅前階段的性能預(yù)測(cè)很感興趣。硅前性能的預(yù)測(cè)結(jié)果對(duì)設(shè)計(jì)驗(yàn)證、軟件開(kāi)發(fā)和市場(chǎng)客戶極具意義和價(jià)值。其意義在于用實(shí)際數(shù)據(jù)起到定性和定量作用。芯片性能直接影響到芯片的售價(jià)，更高的性能意味著更高的售價(jià)和更強(qiáng)的市場(chǎng)競(jìng)爭(zhēng)力。

圖2：硅前性能預(yù)測(cè)的意義與價(jià)值

但芯片從設(shè)計(jì)到量產(chǎn)的周期非常長(zhǎng)，如果等到量產(chǎn)之后才開(kāi)始分析性能則為時(shí)太晚，容易落入閉門(mén)造車(chē)的窘境。而硅前性能預(yù)測(cè)和驗(yàn)證可以提前了解芯片性能指標(biāo)是否達(dá)標(biāo)，進(jìn)行市場(chǎng)調(diào)研，比對(duì)分析芯片與競(jìng)品的差距，與客戶需求的差距，及時(shí)對(duì)架構(gòu)的短板分析優(yōu)化。

圖3：硅前性能預(yù)測(cè)的作用

預(yù)測(cè)和驗(yàn)證什么???

我們可以從兩個(gè)角度來(lái)定義GPU的性能。其一是單模塊的純粹性能，例如內(nèi)存帶寬(Memory Bandwidth)或者浮點(diǎn)算力(FLOPs)。另一個(gè)是包含了所有模塊協(xié)作的應(yīng)用性能。業(yè)界有標(biāo)準(zhǔn)的測(cè)試來(lái)評(píng)價(jià)芯片的綜合性能，而這也是產(chǎn)品間互相競(jìng)爭(zhēng)的最主要評(píng)分工具。

圖4：定義GPU性能的兩個(gè)角度

如何預(yù)測(cè)？

抽象來(lái)看，GPU由多個(gè)功能系統(tǒng)組成。主要為核心計(jì)算系統(tǒng)(Core)、緩存系統(tǒng)(Cache)和內(nèi)存系統(tǒng)(Memory Subsystem)。架構(gòu)師會(huì)在性能預(yù)測(cè)階段改變性能模型中不同模塊的參數(shù)來(lái)探索各種組合的綜合性能。例如計(jì)算系統(tǒng)中的核心數(shù)量、緩存中的緩存大小結(jié)構(gòu)、內(nèi)存的預(yù)取策略、DRAM的時(shí)序參數(shù)等。初級(jí)的性能模型可以在給定參數(shù)下給出標(biāo)準(zhǔn)測(cè)試的結(jié)果，而高級(jí)的性能模型可以分析其中的瓶頸，以幫助架構(gòu)師高效地探索模塊參數(shù)變化對(duì)綜合性能的影響。另外架構(gòu)師并不能無(wú)限堆高各種參數(shù)，而是需要在PPA三角形的限制下找到最合適的芯片架構(gòu)。

如何驗(yàn)證？

驗(yàn)證的整個(gè)流程分為兩個(gè)層面，第一層面是在GPU核心計(jì)算模塊（Core）上的本真硬件性能驗(yàn)證，第二層面是SoC和Multi-GPU平臺(tái)性能的驗(yàn)證。涉及模塊越少則測(cè)試仿真時(shí)間越短，模塊越多則仿真時(shí)間越長(zhǎng)，一旦遇到問(wèn)題需要多個(gè)設(shè)計(jì)師共同“會(huì)診”。

圖5：驗(yàn)證流程

為了提升驗(yàn)證的速度和效率，一般會(huì)由小及大，盡量在最小的模塊組合中發(fā)現(xiàn)問(wèn)題，避免單一模塊的小問(wèn)題被掩蓋直到芯片“大會(huì)診”。

首先是對(duì)單個(gè)子模塊進(jìn)行獨(dú)立的性能指標(biāo)測(cè)試，確保子模塊的性能達(dá)到設(shè)計(jì)要求。然后是將子模塊組成大模塊進(jìn)行測(cè)試。此時(shí)就可以在核心模塊上進(jìn)行部分應(yīng)用層面的測(cè)試，比如部分的Benchmark，以了解在沒(méi)有后續(xù)Cache和Memory Subsystem環(huán)境下核心模塊的絕對(duì)性能上限如何。我們會(huì)將所有測(cè)試分為兩類(lèi)：計(jì)算密集(Compute-Bound)和訪存密集(Memory-Bound)。計(jì)算密集即其對(duì)核心計(jì)算模塊壓力很高，其性能上限取決于核心性能。這類(lèi)測(cè)試就可以在核心模塊的測(cè)試中完成。而訪存密集的測(cè)試則會(huì)放在緩存及內(nèi)存系統(tǒng)中進(jìn)行。

圖6：驗(yàn)證步驟和測(cè)試類(lèi)別

在驗(yàn)證中我們會(huì)使用仿真波形、性能計(jì)數(shù)器等方式來(lái)確認(rèn)設(shè)計(jì)是否符合要求。而RTL仿真所產(chǎn)生的性能計(jì)數(shù)器也會(huì)和性能模型中的數(shù)據(jù)進(jìn)行交叉對(duì)比。一方面確認(rèn)設(shè)計(jì)達(dá)標(biāo)，另一方面校準(zhǔn)性能模型，提升性能模型的可信度，這樣當(dāng)性能模型被用在下一代產(chǎn)品的預(yù)測(cè)時(shí)就能提供更加精準(zhǔn)的預(yù)測(cè)結(jié)果。

圖7：確認(rèn)驗(yàn)證結(jié)果的方式

誰(shuí)會(huì)參加到GPU性能硅前預(yù)測(cè)的任務(wù)中呢？

包括GPU架構(gòu)和設(shè)計(jì)驗(yàn)證模型組都會(huì)參加到流程里。模型組(Model team)在其中會(huì)起到主導(dǎo)作用，主要負(fù)責(zé)提供并且校準(zhǔn)各個(gè)子模塊的模型，包括指令流水線(Instruction Pipeline)、高速緩存(Cache Hierarchy)、總線接口(Bus Interface)和簡(jiǎn)單的I/O內(nèi)存子系統(tǒng)。在實(shí)際應(yīng)用測(cè)試中發(fā)現(xiàn)性能不達(dá)標(biāo)的情況下也會(huì)先行分析瓶頸所在，再與相關(guān)模塊的設(shè)計(jì)師架構(gòu)師具體分析并改進(jìn)現(xiàn)有設(shè)計(jì)。