挑戰硬件的物理極限總是一件有趣的事，Preferred Networks公司正在做的事著實震驚了很多人。Preferred Networks公司是從東京大學（Tokyo University）衍生出來的，它正在將幾個大芯片植入一張PCIe卡中，以實現峰值性能和峰值功率。他們已經準備將超過10，000張芯片部署到一臺定制的超級計算機中。

讓我們從7225平方毫米的封裝開始。這是典型的BGA封裝，帶有其他6457個引腳。封裝內有四個基于TSMC 12FFC的硅芯片，每個硅芯片面積為756.7 mm2（32.2 mm x 23.5 mm），這意味著該處理器總計有3026.8 mm2的硅面積。這比高端計算GPU中使用的800 mm2的硅面積以及高端EPYC CPU中使用的1000 mm2以上的硅面積多太多了。這實在是一個令人難以置信的數字，特別是對于要插入PCIe卡的產品而言。

與相關的散熱片一起，芯片位于32GiB某種形式的存儲器所包圍的PCB上。整個設備是一個深度學習加速器，旨在為性能和功率提供關鍵指標。在半精度（FP16）的524萬億次浮點運算性能下，該芯片還有一個500W的TDP，這意味著該芯片的目標達到了每瓦1.05 TFLOPs。在0.55 V時，這意味著芯片最高工作電流接近1000安培，因此需要自定義PCB設計，但仍可通過PCIe啟用。該卡是擴展的PCIe設計，具有強制冷卻功能（即使在服務器中也是如此），并將安裝在7U機架式機箱中。每個服務器都是一個雙插槽CPU，最多可包含四個卡，從而提供半精度DL計算的2 PetaFLOPs算力。通過卡上的散熱，現在每張卡在服務器內部的最大功率為600W。

該芯片是MN-Core系列的一部分。Preferred Networks是一家專門制造有特定需求的私有超級計算機的公司。自2014年成立以來，該公司已投入1.3億美元資金，其中近9700萬美元來自豐田。從2017年起，Preferred Networks公司已經為東京大學建造了三臺人工智能超級計算機，大部分使用P100和V100 NVIDIA加速器，最新的MN-2使用了1024個V100 SXM2部件，達到了128 PetaFLOPs。這款新芯片位于Preferred Networks最新的MN-3超級計算機的中心，將是第一個采用定制芯片的。

MN-3將在每臺7U服務器上配置4個這樣的芯片，使性能提高到2.1 PF。每個機架將有4臺服務器，大約300個機架，4800個網核板。這將提供2.5 ExaFLOPs的總半精度峰值性能。Wikichip的David Schor估計總耗電量約為3.36兆瓦，比市場上其他系統的效率要高得多。MN-3預計將于2020年投入使用。

戴維（David）還對這種芯片的結構做了一些挖掘。從圖片中，我們可以在芯片上清楚地看到單詞‘ GRAPE-PFN2 ’，它代表GRAPE（東京大學內部芯片項目的名稱）和PFN2（或首選網絡）。東京大學在GRAPE旗下有許多定制的芯片項目：可以用于重力計算，多物體計算和分子動力學等。Preferred Networks團隊的成員以前曾在GRAPE-DR物理協處理器上工作，包括Hiraki教授，這就是為什么超級計算中顯示的架構圖如此相似的原因。

每個芯片都包含兩個管芯到管芯的互連，并與一些調度引擎，PCIe架構配合使用，計算在四個大的“二級塊（L2Bs）”中進行。每個L2B有8個L1B和一個共享緩存，L1B內部有16個矩陣運算塊（abs）和一個L1共享緩存。每個MAB有四個處理引擎（PEs）和一個矩陣運算單元（MAU），它似乎是為執行矩陣乘法和加法而構建的。一個裸片總共將具有512個MAB，其中包括2048個PE和512個MAU。因此，整個芯片將具有2048個MAB，8192個PE和2048個MAU。不斷擴大規模，顯然可以實現高性能數字。通常，所有這些單元都以16位工作，盡管結合PE意味著可以實現更高的精度。
責任編輯:pj