每個新處理器都聲稱是最快、最便宜或最省電的處理器，但這些聲明的衡量方式和支持信息可能非常有用，也可能無關緊要。

芯片行業在提供信息性指標方面比過去更加努力。二十年前，衡量處理器性能相對容易。它是指令執行速度、每條指令執行多少有用工作以及信息可以從內存讀取和寫入內存的速度的組合。這與它消耗的電量和成本進行了權衡，這當然不是那么重要。

當Dennard Scaling下降時，許多市場的時鐘速度不再增加，MIPS 評級停滯不前。在架構的其他地方、內存連接以及通過添加更多處理器進行了改進。但是沒有創建新的性能指標。

西門子 EDA高級副總裁兼總經理 Ravi Subramanian 表示：“在過去二十年的大部分時間里，一直處于令人毛骨悚然的沉默之中。 ” “這種沉默是由英特爾和微軟創造的，它們控制著計算機架構與其上運行的工作負載、應用程序之間存在的契約。這推動了計算的很大一部分，尤其是企業。我們現在有一些非常具體的計算類型，它們更針對特定領域或利基市場，脫離了傳統的馮諾依曼架構。每兆赫每毫瓦每秒的數百萬次操作已經趨于平緩，為了獲得更高的計算效率，必須在工作負載所有者和計算機架構師之間建立新的合同。”

在嘗試測量處理器的質量時，考慮應用程序變得很重要。該處理器執行特定任務的性能如何，在什么條件下？

GPU 和 DSP 使該行業走上了特定領域計算的道路，但今天它正在邁向一個新的水平。“隨著經典摩爾定律的放緩，創新已經轉向特定領域的架構，” Synopsys Fusion Compiler 產品營銷經理 James Chuang 說。“這些新架構可以在相同的工藝技術上實現每瓦性能數數量級的提升。它們為設計探索開辟了廣闊的未知空間，無論是在架構層面還是物理設計層面。”

已經嘗試定義模仿上一個時代的新指標。“人工智能應用程序需要處理器具備某些特定功能，尤其是大量的乘法/累加運算，” AMD自適應和嵌入式計算事業部的人工智能和軟件和解決方案產品營銷總監 Nick Ni 說。“處理器定義了它們可以執行的每秒數萬億次操作 （TOPS），并且這些評級一直在迅速增加，（如圖 1 所示）。但就每瓦性能或每美元性能而言，真正的性能是什么？”

圖 1：AI TOPS 評級的增長。資料來源：AMD/賽靈思

隨著芯片尺寸達到分劃板限制，在芯片上包含額外的晶體管變得更加昂貴和困難，即使工藝規模擴大，因此性能提升只能來自架構變化或新的封裝技術。

多個較小的處理器通常比單個較大的處理器好。將多個裸片放在一個封裝中還允許與內存和其他計算內核的連接也進行架構改進。Synopsys 的產品營銷經理 Priyank Shukla 說：“您可能將多個處理單元組合在一起以提供更好的性能。” “這個包含多個芯片的封裝將作為一個更大或更強大的計算基礎設施工作。該系統提供了一種業界習慣于看到的摩爾定律縮放比例。我們正在達到單個模具無法提高您的性能的極限。但現在這些系統可以在 18 個月內為您提供 2 倍的性能提升，這正是我們所習慣的。”

工作負載正在推動計算機體系結構的新要求。“這些超越了傳統的馮諾依曼架構，”西門子的 Subramanian 說。“許多新型工作負載需要分析，并且需要創建模型。人工智能和機器學習本質上已成為推動模型開發的勞動力。我如何根據訓練數據進行建模，以便我可以使用該模型進行預測？這是一種非常新型的工作負載。這正在推動一種關于計算機體系結構的全新觀點。計算機架構如何與這些工作負載相匹配？你可以實現一個神經網絡或傳統 x86 CPU 上的 DNN。但是，如果您查看每毫瓦、每兆赫茲的數百萬次操作，并考慮這些字長、權重和深度，通過與計算機體系結構的工作量。”

工作負載和性能指標因位置而異。“超大規模廠商提出了不同的指標來衡量不同類型的計算能力，”Synopsys 的 Shukla 說。“最初他們會談論每秒 Petaflops，即他們可以執行浮點運算的速率。但隨著工作負載變得越來越復雜，他們正在定義新的指??標來同時評估硬件和軟件。這不僅僅是原始硬件。這是兩者的結合。我們看到他們專注于一個名為 PUE 的指標，即電源使用效率。他們一直在努力減少維護該數據中心所需的電力。”

丟失的是比較任何兩個處理器的方法，除非在最佳條件下運行特定應用程序。即使這樣，也有問題。處理器和使用它的系統能否長期維持其性能？還是因為熱而節流？當多個應用程序同時在處理器上運行時，會導致不同的內存訪問模式怎么辦？數據中心之外的處理器最重要的特性是它的性能，還是電池壽命和功耗，還是兩者之間的某種平衡？

瑞薩電子物聯網和基礎設施業務部執行副總裁兼總經理Sailesh Chittipeddi 表示：“如果你退后一步，從一個非常高的水平來看，它仍然是在最低功耗下實現最大計算能力。” “所以你可以考慮你需要什么樣的計算能力，以及它是否針對工作負載進行了優化。但最終的因素是它仍然必須處于最低功耗。然后問題就變成了，‘你是把連接放在船上，還是把它放在外面。或者在優化功耗方面你會怎么做。這是必須在系統層面解決的問題。”

測量是困難的。基準測試結果不僅反映了硬件，還反映了相關的軟件和編譯器，它們比過去復雜得多。這意味著特定任務的性能可能會隨著時間而改變，而底層硬件沒有任何變化。

架構方面的考慮并不僅僅停留在封裝的引腳上。“考慮在先進的智能手機上拍照，”舒克拉說。“在捕獲圖像的 CMOS 傳感器中執行 AI 推理。其次，手機有四個核心用于額外的 AI 處理。第三級發生在數據中心邊緣。超大規模器在距數據捕獲的不同距離處推出了不同級別的推理。最后，您將擁有真正的大數據中心。AI 推理發生在四個級別，當我們計算功率時，我們應該計算所有這些。它從物聯網開始，你手中的手機，一直到最終的數據中心。”

由于有如此多的初創公司在創造新的處理器，許多公司的成功或失敗很可能是因為他們的軟件堆棧的質量，而不是硬件本身。更難的是，硬件必須在知道它可能運行什么應用程序之前設計好。在這些情況下，甚至沒有什么可以對處理器進行基準測試。

基準

基準旨在提供一個公平的競爭環境，以便可以直接比較兩件事，但它們仍然可以被操縱。

當特定應用變得足夠重要時，市場需要基準，以便對其進行評級。“有不同類型的人工智能訓練的基準，”舒克拉說。“ResNet 是圖像識別的基準，但這是一個性能基準，而不是功率基準。Hyperscaler 將展示基于硬件和軟件的計算效率。有些甚至構建了定制硬件、加速器，它可以比普通 GPU 或基于普通 FPGA 的實現更好地執行任務。TensorFlow 就是與 Google TPU 結合的一個例子。他們以此為基礎對他們的人工智能性能進行了基準測試，但到目前為止，功率并不是等式的一部分。主要是表演。”

忽視權力是一種操縱形式。“2012 年旗艦手機的峰值時鐘頻率為 1.4GHz，” Arm技術副總裁兼研究員 Peter Greenhalgh 說。“與今天達到 3GHz 的旗艦手機相比。對于臺式機 CPU，情況更加微妙。雖然 Turbo 頻率僅比 20 年前高一點，但 CPU 能夠在更高的頻率下停留更長時間。”

但并非所有基準測試的規模或運行時復雜性都達到了這一點。“隨著電力消耗，溫度會升高，” Ansys PowerArtist 產品管理負責人 Preeti Gupta 說。 “一旦超過某個閾值，你就必須降低性能，（如圖 2 所示）。功率、熱量和性能非常緊密地聯系在一起。不考慮其電源效率的設計將不得不為運行速度變慢付出代價。在開發過程中，您必須采用真實的用例，運行數十億次循環，并分析它們的熱效應。查看熱圖后，您可能需要移動部分邏輯以分配熱量。至少，您需要將傳感器放置在不同的位置，以便知道何時降低性能。”

圖 2：性能限制會影響所有處理器。資料來源：Ansys

隨著時間的推移，架構會針對特定的基準進行優化。“基準不斷發展并反映現實世界的使用情況，使用系統軟件級別或硅測試階段的成熟方法相對容易創建和部署，”Synopsys 的 Chuang 說。“然而，分析總是在事后進行。芯片設計中更大的挑戰是如何針對這些基準進行優化。在芯片設計階段，常見的功率基準通常僅由統計切換曲線 （SAIF） 或非常短的采樣窗口（實際活動 （FSDB） 的 1 到 2 納秒）表示。更大的趨勢不是“測量什么”，而是“在哪里測量”。我們看到客戶在整個流程中推動端到端功率分析，以準確推動優化，

基準可以識別應用程序與其運行的硬件架構之間何時存在根本不匹配。“當您在某些架構上運行實際工作負載時，可能會出現主要的暗芯片，”AMD/Xilinx 的 Ni 說。“問題實際上在于數據移動。您正在使引擎挨餓，這會導致計算效率低下。”

即使這樣也不能說明全部。“越來越多的標準基準得到了人們的認可，”Ni 補充道。“這些是人們認為最先進的模型。但是它們在運行您可能關心的模型方面的效率如何？什么是絕對性能，或者您的每瓦性能或每美元性能是多少？這決定了您的機柜的實際運營支出，尤其是在數據中心。最佳性能或功率效率以及成本效率通常是最關心的兩個問題。”

其他人同意。“從我們的角度來看，有兩個指標越來越重要，” Fraunhofer IIS 自適應系統部工程高級系統集成組負責人兼高效電子部門負責人 Andy Heinig 說。“其中一個是功耗或每瓦的操作。隨著能源成本的增加，我們預計這將變得越來越重要。第二個增長的指標是芯片短缺。我們希望銷售設備數量最少但性能要求最高的產品。這意味著需要越來越多的靈活架構。我們需要一個性能指標來描述解決方案在針對不同應用程序進行更改時的靈活性。”

芯片設計的一個關鍵挑戰是你不知道未來的工作負載會是什么。“如果您不了解未來的工作負載，您如何實際設計與這些應用程序完美匹配的架構？” 蘇布拉曼尼安問道。“這就是我們看到計算機架構真正出現的地方，首先是了解工作負載、剖析和了解數據流、控制流和內存訪問的最佳類型，這將顯著降低功耗并提高計算的能效。 這真的歸結為您花費了多少精力來進行有用的計算，以及您花費了多少精力來移動數據？對于應用程序類型，總體概況是什么樣的？”