“摩爾定律將繼續改變世界，但算法的進步對推動電子技術的發展越來越重要。”

現有的半導體芯片或正在開發的新計算架構仍然適合未來的算法，我們對此有多大信心？隨著算法的進步超過硬件的發展，即使是最先進的深度學習模型都可以部署在小到5美元的Raspberry Pi上。

在20世紀80年代的處理器上運行最先進的現代算法，和在最先進的處理器上運行20世紀80年代的算法，哪個算得更快？答案令人驚訝，通常都是在舊處理器上跑新算法更快些。

雖然摩爾定律作為電子行業快速發展的驅動力而備受關注，但它只是一個驅動因素而已。我們經常忘記算法的進步其實在很多情況下超過了摩爾定律。

Martin Groetschel教授觀察到，在1988年需要花費82年才能解算的一個線性編程問題，在2003年只需要一分鐘。其中硬件加速占1000倍，而算法進步占43,000倍。同樣，麻省理工學院教授Dimitris Bertsimas的研究表明，1991年至2013年間，混合整數求解器的算法加速是58萬倍，而峰值超級計算機的硬件加速僅增加了32萬倍。據說，類似的結果也發生在其他類型的約束優化問題和素數因子分解中。

這對AI意味著什么？

過去五年來，無論學術界、工業界還是創業界，都見證了人工智能（AI）的爆發。可能最大的拐點發生在2012年，當時來自多倫多大學的AlexNet團隊，使用深度學習一舉贏得了ImageNet大規模視覺識別挑戰賽（ILSVRC）的冠軍。從那以后，深度學習成為了人工智能實現的關鍵配方。

計算機視覺的進步開始蔓延到自然語言處理和其他AI領域。智能音箱、實時計算機翻譯、機器人對沖基金，以及網絡參考引擎，不再讓我們感到驚訝了。

AI也成為了交通運輸行業的驅動力（這也是Autotech Ventures公司的投資領域）。我們預見到，高級駕駛輔助系統（ADAS）、自動駕駛、車隊檢查、制造質量控制，以及車載人機界面等細分市場，具有巨大的發展潛力。到目前為止，Autotech Ventures已經對幾家專注于開發該領域AI解決方案的初創公司進行了投資，包括ADAS和自動駕駛、視覺檢測和邊緣計算。在分析這些商業機會時，算法和硬件之間的相互作用是其投資決策中的一個關鍵考慮因素。

公眾對AI硬件的關注

基于深度學習的AI在其拐點之后出現了對圖形處理單元（GPU）的強勁需求。由于具有很強的并行計算能力，GPU對于深度學習算法所采用的邏輯恰好具有驚人的運行效率。GPU的主要供應商英偉達（NVIDIA)從競爭中脫穎而出，其股價從2013年到2018年上漲了20倍。

當然，英偉達的競爭對手正在努力追趕。高通、Arm和其他公司將注意力集中在了AI芯片的設計上，而英特爾則收購了AI芯片初創公司Nervana Systems。谷歌、Facebook、蘋果和亞馬遜都已紛紛為各自的數據中心及其他項目開發他們的AI處理器。也有一些初創公司（例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova）看到機會加入進來，試圖搭建設計得更好的圖靈機系統。像D-wave Systems和IBM等其他一些公司也在積極探索后圖靈時代的架構。大多數芯片開發的目標是趕上或超過英偉達。然而，據我們所知，大多數處理器都是針對今天的AI算法而設計的。

盡管需要巨大的前期開發成本，各種AI芯片設計的發展仍會進入寒武紀式的大爆炸。人工智能的前景是如此誘人，行業玩家愿意投入巨資開發硬件，以便與基礎數學算法相匹配。但是，現有的半導體芯片或正在開發的新計算架構仍然適合未來的算法，我們對此有多大信心？

考慮到算法演變的速度和幅度變化是如此之快，許多替代AI芯片設計可能還沒有正式投放市場就已經過時了。我們推測明天的AI算法可能需要不同的計算架構、內存資源，以及數據傳輸能力等。

盡管深度學習框架已經出現很長時間了，但直到最近才真正付諸實踐，這要感謝摩爾定律所預測的硬件的快速發展。最初的數學不一定是為工程實踐而設計的，因為早期的研究人員無法想象今天用1000美元就可以得到那么大的算力。現今的許多AI實現都是使用最初的數學模型，朝著更加準確、簡單且更深層的方向發展，或者添加更多數據。這樣做很快就會消耗掉GPU的計算容量。只有一小部分研究人員專注于改進基礎數學和算法框架的難題。

還是有很多機會認識并利用這些創新的的數學進步的。我們了解到的方法包括精簡冗余的數學運算而減少計算時間，將卷積壓縮到較小的矩陣而減少內存需求，或者對加權矩陣進行二值化而簡化數學運算。這些是進入算法進步的第一次嘗試，其發展之快已經開始超過硬件的進步。

例如，從加州大學伯克利分校的研究項目剝離出來的DeepScale 就是將用于高級駕駛輔助系統（ADAS）和自動駕駛的AI“擠壓”到汽車級芯片中（而不是GPU）。與僅使用算法的物體檢測模型相比，他們的神經網絡模型的運算速度要快30倍，同時在能耗和內存占用方面也有很大的提升，足以在現有硬件上運行。

另一個算法跨越式進步的例子來自艾倫人工智能研究所（Allen Institute of Artificial Intelligence）的研究人員。他們使用一種采用神經網絡二值化的新穎數學方法，已經證明可以大幅提高速度，同時降低功耗和內存要求。這樣就可能讓最先進的深度學習模型部署在售價僅5美元的Raspberry Pi上。其研究人員最近將這種算法和處理工具獨立出來成立專門的公司XNOR.ai，以便在邊緣設備上部署AI，并進一步推動AI算法的進步。

有趣的是，新的二值化框架從根本上改變了最佳處理邏輯的類型。它們不再需要解決神經網絡所需的32位浮點卷積，而只需要進行位計數操作——將功率平衡從GPU移開。此外，如果這些算法與專門設計的芯片相匹配，則可以進一步降低計算資源需求。

算法的進步不會停止。有時需要數年甚至數十年才能發明（或者可能發現）新的算法。這些突破無法以與摩爾定律推動的計算進步所相同的方式來預測。它們本質上是非確定性的。但是當它們發生時，整個格局的變化往往會使現有的主導者變成脆弱的獵物。

黑天鵝

Nassim Nicolas Taleb在他的暢銷書《The Black Swan: The Impact of the Highly Improbable（黑天鵝：如何應對不可預知的未來）》中闡明說，最佳決策在很大程度上取決于分析過程是不可預測還是不確定。換句話說，我們是在處理“已知的未知數”還是“未知的未知數”？算法創新從根本上是未知的未知數。投注到這些發展上需要持續關注，因為它們具有不確定的發現時間和不可預測的影響。

然而，在過去的二十年中，在應用數學領域，尤其是人工智能方面，出現了幾個顛覆性的算法發現。它們與GPU一起，將AI從一個不起眼的研究領域帶到了商業化的最前沿。

我們認識到這些計算領域“黑天鵝”的潛力，它們將使現有芯片架構成為過去，或者一夜之間重新洗牌。對我們來說，這些黑天鵝可能會帶來更為安全的自動駕駛汽車，以及許多其他未知的應用。

- Alexei Andreev博士是Autotech Ventures投資公司的執行董事，Jeff Peters博士是公司首席研究員，Autotech Ventures是一家專注于交通相關技術的風險投資公司。