人腦以高效著稱，它以稀疏的表征方式存儲和處理信息。在任何時刻，只有一小部分神經元處于活躍狀態。神經科學家相信，他們可以將大腦啟發的邏輯映射到運行AI模型的算法、數據結構和架構中，從而提供一個讓AI降低功耗的配方。數據科學家是否愿意改變他們基于蠻力計算的AI實踐，這一點尚未確定，因為這種方法似乎越來越難以為繼。

正自籌資金起家的初創公司并不多見，更不用說這家公司在神經科學研究領域玩了18年的長線游戲之后，突然推出了一款商業軟件產品。

更重要的是，這家初創公司的新產品直接向炙手可熱的大語言模型（LLM）AI市場發出了挑戰。

這家公司就是Numenta，它承諾其受神經科學啟發的軟件可以大幅降低在CPU上運行LLM的功耗。

持懷疑態度的人可能會認為這種策略是投機取巧。Numenta的CEO Subutai Ahmad認為，這種說法并不用準確。

Numenta將數十年的神經科學研究應用于商業產品的手段、動機和機遇都出現在AI領域。Numenta的研究人員特別注意到了AI科學家依靠蠻力計算來實現transformer的方式。

當然，神經科學和AI并非完全形同陌路。這兩個學科在二十世紀五六十年代相互影響，后來逐漸分道揚鑣。不過，Ahmad表示，神經科學和AI一直孤立地存在著，這點令人驚訝。

以ChatGPT為例。

盡管ChatGPT已是當紅炸子雞，但Ahmad認為，ChatGPT消耗的能源太多，最終將難以為繼。他認為，只有應用神經科學的基本原理，開發者才能改變AI邁向死胡同軌跡。

了解Numenta

Numenta與其它大多數初創公司的區別在于，其聯合創始人Jeff Hawkins、Donna Dubinsky和Dileep George的履歷、經驗和專業知識。

Hawkins在90年代是著名的Palm Pilot PDA的設計師。之后，他又在Handspring開創了名為Treo的智能手機。

Dubinsky曾在1980年代負責管理Apple的部分分銷網絡，又曾任Palm的CEO，后來與Hawkins共同創辦了Handspring。

2005年，AI和神經科學研究員Dileep George與Hawkins和Dubinsky合作。

每位聯合創始人都為Numenta帶來了技術、創業和激情方面的獨特面向，而Hawkins則因癡迷腦科學而聞名，他是Numenta的公眾導師。他撰寫了兩本書，“On Intelligence”（2004年與Sandra Blakeslee合著）和“A Thousand Brains: A new theory of intelligence”（2021 年）。他在科學雜志上發表的許多論文經常被大量引用。

但具有諷刺意味的是，神經科學的進步主要局限于研究機構，對商業市場影響甚微。據Numenta的CEO Ahmad稱，只有極少數實驗室積極將神經科學應用于AI。“我們可能是唯一一家嘗試這樣做的公司。”

他說，Numenta很幸運能走到今天，但他認為ChatGPT是一個“巨大的功耗”。Ahmad堅信，Numenta基于神經科學的數據結構和算法能為LLM帶來更高的效率。

Numenta的商業產品

Numenta上周推出的第一款產品是AI軟件“NuPIC（Numenta Platform for Intelligent Computing）”。

NuPIC是為現有transformer設計的即插即用軟件，可以在CPU上以“極高的吞吐量和低延遲”運行LLM，該公司稱，“速度明顯快于Nvidia A100 GPU”。

Ahmad解釋說，NuPIC將作為“企業軟件”授權給“希望將LLM納入工作流程的企業”。他強調說，Numenta不提供云服務，因此這不是SaaS。NuPIC授權用戶將在自己的基礎設施中安裝該軟件，因此“數據和模型對他們來說是完全私有的”。

Numenta產品的關鍵之一是它可以“直接插入”現有的transformer。Ahmad說：“在外界看來，它并沒有什么不同。因此，下圖中的中間部分和界面看起來與AI世界已經知道的完全相同。你甚至可以把傳統的transformer換成我們的transformer，整個東西仍然可以工作?！?/p>

Numenta聲稱，其基于神經科學的AI解決方案“能讓客戶實現10到100倍以上的性能提升”。這些數字似乎好得不像真的，但該公司并非憑空捏造。Numenta有與Intel合作完成的案例研究為證。

與Intel和Xilinx的合作

Intel今年在其Xeon Max系列和第四代Intel Xeon可擴展處理器上發布了x86指令集架構的新擴展，稱為AMX（Advanced Matrix Extensions）。AMX設計用于矩陣，以加速AI工作負載的矩陣乘法。

Numenta的團隊從去年開始與Intel合作，當時Intel正在開發AMX。Ahmad解釋說，Intel正在“利用CPU并添加類似于GPU的指令來進行矩陣乘法運算。但它仍然是CPU，而這些CPU非常靈活”。

Ahmad說，這種靈活性使Numenta“可以將我們的算法移植到這些芯片上”。Intel的一份文件指出：“Numenta展示了他們定制訓練的LLM在Intel Xeon CPU Max系列處理器上運行時，與當前一代AMD Milan CPU的實現相比，在處理器上配備高帶寬內存的LLM在大型文檔（長序列長度）上的運行速度要快20倍?！?/p>

Intel總結說，Numenta已經證明“有能力大幅降低在Intel上運行語言模型的總體成本，為客戶釋放全新的自然語言處理能力”。

Numenta的Ahmad則更進一步說：“我們可以讓transformer運行得比Nvidia GPU更快。”

現在判斷Numenta的軟件是否真的是Nvidia GPU Killer還為時尚早。但在Ahmad看來，Numenta從神經科學中學到的基本原理讓公司處于優勢地位?！斑@并不是說我們有什么魔法能讓速度提高100倍。我們所做的是減少計算量。這就是大腦的工作。這就是我們提高效率的方法?！?/p>

Numenta技術的應用范圍包括計算機視覺、語音識別和機器人技術。

在語音識別領域，Numenta已經與Xilinx（已被AMD收購）開展了合作。Numenta演示了其大腦啟發的稀疏算法如何輔助機器學習，該算法在Xilinx現成的FPGA和GSC（Google Speech Commands）數據集上運行。根據Numenta提交的案例研究，該公司展示了“利用稀疏性擴展深度學習模型的巨大優勢”。

神經科學與AI

那么，究竟什么是神經科學，它與AI有何不同？

神經科學側重于了解神經系統（大腦、脊髓和外周神經）的基本特性以及它們如何發揮作用。相比之下，AI的興趣在于開發機器來完成通常與人類智能相關的任務。

正如Ahmad所解釋的，在人工神經網絡的早期，AI在很大程度上受到了神經科學的啟發。Ahmad說：“20世紀40年代，Donald Hebb提出了神經元可以學習的最初想法，而且神經元可以學習模式。這啟發了最早的人工神經元，當時被稱為感知器（perceptron）?！?/p>

他補充說，神經科學還啟發了“反向傳播（backpropagation）”，這是深度學習的核心學習算法，一直沿用至今。

David Hunter Hubel和Torsten Wiesel共同獲得了1981年諾貝爾獎，他們研究了視覺皮層的結構和功能。Ahmad解釋說，他們極大地增強了人類對視覺系統如何按層次學習物體特征的理解，首先從邊緣到角落，然后到形狀，最后到物體。

Ahmad強調說：“這種對層次結構和特征檢測的理解直接啟發了卷積網絡，這種核心架構甚至被用于當今的計算機視覺領域?！?/p>

直到Ahmad感興趣的90年代初，神經科學家和深度學習研究人員之間的互動還很普遍。

不知從何時起，AI開始專注于GPU和計算。隨著GPU速度越來越快，網絡也越來越大。隨著計算機越來越強大，數據科學家依賴的數據也越來越多。AI成了更強大和更多閃存的代名詞。

Ahmad援引這一背景，認為當今的AI存在兩個基本問題。其弱點在于“無法持續學習”，以及對“過多數據”的貪得無厭。

根據他的定義，真正的智能系統是“不斷學習”的。他說，AI系統首先在實驗室中接受訓練，然后部署到現實世界中。但它們不會不斷學習。

與人類不斷漸進地學習不同，代碼還不能真正地“學習”。Ahmad在最近的一篇文章中寫道：“如果一個AI模型今天犯了一個錯誤，那么它將繼續重復這個錯誤，直到使用新的數據對它進行重新訓練?！?/p>

他說：“作為人類，我們通過四處走動來學習，我們了解世界的結構，甚至做出預測。”

想想AI模型是如何學會識別一種新車型的。

Ahmad說，人類只需要看到“一個例子。我會從另一個角度、一天中的不同時間或在下雨天都可以認出那輛車”。Ahmad說，深度學習系統沒有真實的世界模型，“你必須向它們展示數以千計的各種圖像”?！八仨氂涀∵@輛車的每一個可能的角度”。

神經形態（neuromorphic）計算與神經科學有何不同？Ahmad解釋說，神經形態計算是“神經科學和AI這一更廣泛領域的一個子集”。雖然神經形態工程的重點通常是構建新的、能效極高的硬件系統，但Ahmad說：“我們正在開發更多的軟件和算法。我們將能夠利用芯片行業正在進行的所有創新，包括CPU、GPU以及所有SIMD指令和架構?！?/p>

融資情況

Ahmad說，Numenta的資金主要來自董事會內部，其中包括Hawkins和Dubinsky，但也有一些外部投資者。

目前，Numenta規模仍然很小，只有20名員工。Ahmad補充說：“現在，Numenta正在走向商業化，我們將在明年的某個時候，很可能是今年晚些時候，進行一輪大規模融資?！?/p>

過去二十年來，神經科學家和數據科學家之間的分化很有啟發性。硅谷通過一個非常男性化的方式實現了驚人的發展，更大更快的CPU和GPU永遠是贏家。但如今，他們需要想辦法從拼肌肉的死胡同過渡到基于效率的模式。






審核編輯：劉清