“摩爾定律已死”這樣的說法我們已經聽到很多，不管這么說是不是嚴謹，摩爾定律的延續非常非常困難是不爭的事實。更重要的問題是，在這個背景下，我們該怎么做？這個問題已經有很多討論，我也有自己的一些思考。正好今天看到黃老板在SC18講演中的這幅圖，正好可以把我的一些想法串起來，不妨和大家分享一下。

source: SC18

我在朋友圈寫了下面一段話，可以作為一個摘要：

以前，在摩爾定理作用下，我們可以依賴半導體技術的發展“粗放經營”，很多優化的工作都停留在學術圈。現在失去了這個“紅利”，我們必須“精耕細作”：找到合適的架構，合適的方法，合適的精度，進行全棧優化。而這些“細活”都需要更多的時間和精力，能否實現依賴于提高生產效率（productivity）的工具。

首先是找到合適的架構，這個在我的公眾號文章里已經討論的太多了。CPU，GPU，DSP，ASIP，ASIC，FPGA，CGRA等等，我們有各種選擇，永遠是trade-off。在之前摩爾定律可以給我們10x的性能提升的預期下，對于很多應用來說，不需進行太多權衡。現在，如果我們還想要更強的算力，則必須把目光放到其它選擇上，更多的使用專用的架構，構成更高效的異構系統。我們已經看到很多這方面的討論和各種創新（或者“復古”），就不多說了。

找到合適的方法是個有趣也更大的話題，多說幾句。在HPC的背景下，這部分主要是在講仿真和AI的結合。我們知道，HPC的很多典型應用都是大規模的數值仿真，比如天氣建模和預測，分子動力學，天體運動等等。而這些工作，需要大量的運算資源，消耗大量時間。過去，隨著半導體技術的進步，過一段時間我們就自然能有性能大幅提升的系統，可以運行越大越大的模型。但是，現在這個預期越來越難實現。那么，針對這些應用，是否可以找到更高效的硬件架構呢？如果不改進傳統的算法，這條路也很困難。在這個背景的下，AI方法似乎又成了“救世主”。現在很多研究是在傳統的數值仿真中使用機器學習的方法，或者把仿真和機器學習相結合。具體來說，可以先用傳統的仿真方法來訓練神經網絡模型，然后使用這個神經網絡模型的inference結果來代替數值計算，對特定問題的結果進行預測。訓練這個神經網絡雖然仍然需要大量運算，但inference的成本則非常低。另一方面，神經網絡的運算可以很好的使用專用硬件來加速，這就更進一步提升了整體的效率。其實這個思路適用于HPC之外的領域。一般的說，當我們無法直接找到一個合適的硬件架構來加速特定算法的時候，我們該思考的是能否找到對硬件更友好的算法。我之前談過5G的基帶處理用AI方法實現的問題（AI芯片在5G中的機會），也可能有類似的收益。當然，無線通信基帶處理已經是高度優化的系統，AI方法要擊敗傳統方法難度要大得多。比如，在基帶處理中一般都對比特精度做過非常細致的優化。這就引出下一個問題，選擇合適的精度。

對于實現成本和運算效率來說，減少比特精度的收益是很大的（下圖之前貼過）。

source: Graphcore

從目前的實踐來看，AI算法和傳統HPC算法相比，對精度的要求低得多。因此我們看到很多AI芯片主要強調在FP16或者INT8中的精度。可以說，對目前AI芯硬件效率的提升，低比特精度有很大貢獻。在HPC領域，如果結合上面討論的用神經網絡模型替代傳統算法的方法，這部分優化的空間也很大。再對比一下通信基帶處理，我們通常為了能夠減少一個比特而做大量的優化和驗證。在一個接收機中，不同的算法模塊采用不同的比特是很常見的。當然這種優化有一個前提，就是算法必須定型。在目前AI算法還在不斷優化的過程當中，同時支持多種精度的硬件就是目前更為合理的選擇。

下一個話題是全棧優化，我之前也討論過。畢竟，如果可能，誰不想實現全棧優化呢？現在，這個話題被越來越多的提及，除了對計算效能的需求越來越高，通過單純優化軟件或者硬件都難以滿足這個原因之外，另一個重要原因是，在特定領域，比如AI，確實有實現的可能。全棧優化的難度在于探索空間太大，我們不得不分而治之。而對AI來說，目前基于神經網絡的方法有個很好的特征，就是可以用比較規則的硬件進行加速，大大縮小了硬件優化的空間。當然，即便是在特定領域，全棧優化也還是個難題，也許最終還是要靠AI來解決（似乎現在難題都丟給了AI），但我們總算有信心往前趟趟路。

總得來說，上述這些方向大多還是老生常談，在過去的幾十年有各種各有的研究和實驗。但很多相關的工作停留在了學術圈或者研究階段，而沒有大規模的應用。原因主要在下面幾個方面：第一是在驅動力方面，或者沒有足夠的收益，不能提供支持商用的投入產出比；或者沒有足夠的競爭壓力。第二是技術上確實很難實現，比如全棧優化的問題。還有一種情況，我們有一定的驅動力，也知道怎么去做，但就是沒辦法高效的去做。換句話說，即生產率（productivity）太低導致成本太高。如果阻礙我們前進的關鍵問題為此，那么最可能的結果是新工具或新的方法學的出現。各個AI Framework對ML/DL快速發展起到的關鍵作用就是很好的佐證。其實，黃老板在后面也著重講了這個問題，贊揚了開源領域的各種工具，當然重點還是CUDA和RAPIDS。要應對AI領域給我們帶來的各種新挑戰，發明新工具或者改造老工具的需求將會非常旺盛。另一方面，不斷強化的AI本身在工具中的應用也會越來越普遍，AutoML就是很好的例子。最終也許會真的實現AI設計AI，AI設計計算機。甚至，也許真的像阿西莫夫的科幻小說所描述的，星際旅行的飛船并不是由人類發明，而是由人類設計的AI（金頭腦）所發明。

寫到這里，發現題目起的有點大，上面講的只是幾個點而已。不過，如果我們仔細觀察，這些點都是相互關聯的，結合在一起又可能形成新的機會，這才是最有趣的地方。畢竟，現在是黃金時代嘛。