Numenta近期引起了廣泛關注，聲稱可以有效地管理CPU上的數據，實現了驚人的性能數據。與其他人工智能推理數據不同的是，Numenta并不需要大量的資源。Numenta采用了Intel AMX和AVX-512等功能，結合管理稀疏性的軟件，以加速AI推理的過程。

英特爾總結了這一解決方案，Numenta在使用其定制指令進行人工智能推理。 Numenta成立于2005年，由Jeff Hawkins和Donna Dubinsky創立，公司的目標是將更多的大腦工作方式應用于人工智能問題。提出的方法受到了神經科學的啟發，尤其是大腦中稀疏計算的特性。

神經元的結構異常復雜，大腦的工作方式卻處于極度稀疏的狀態。生物大腦的學習過程是動態而稀疏的，其中神經元之間的連接是稀疏的，激活和信號傳遞也是稀疏的。大腦還善于利用上下文信息進行路由。當外部輸入信號進入大腦時，大腦會智能地識別相關的高度稀疏的神經元部分，并根據輸入信號和周圍環境進行信息傳遞。在當前的人工智能領域，大多數組織更傾向于使用高度密集的計算方法。CPU 和 GPU 專為密集矩陣乘法計算而設計，具有相對深的管道、高時鐘速度和大矢量引擎，需要暫存數據來填充這些計算資源。稀疏性旨在提供相反的、更少的計算數據。

幾年前，Numenta與Xilinx進行了合作，展示了在吞吐量、延遲和電源效率方面實現了兩個數量級的提高，同時保持了相似的精度。正將其算法應用到新的CPU硬件中。Numenta的研究表明，可以實現超高稀疏性，去除了90%的權重，同時保持了相似的精度水平。Numenta 分享了使用 AVX-512 和 1024×1024 數據矩陣優化的英特爾數學內核庫 (MKL)。這里CSR（壓縮稀疏行）是非結構化稀疏性，BSR是塊結構稀疏性。

將AVX-512和AMX結合使用，實現硬件幾乎全速運行，避免了需要高度稀疏性才能獲得加速的情況。已經在Intel Xeon MAX CPU上得到了應用，并且在內存帶寬受限的大型模型上，實現了高達3倍的吞吐量改進。?

Numenta 采用了 NVIDIA 報告的 A100 性能數據的工作負載，并在 AWS 上的雙插槽 48 核 Sapphire Rapids 服務器上運行。可以線性擴展至 48 個核心，客戶端都運行自己的 BERT-Large 實例，因此會給緩存和內存子系統帶來壓力。

Numenta的方法突破了現代CPU和GPU面臨的稀疏性挑戰。與使用有限資源的NVIDIA GPU、尚未發布的AMD GPU、Intel Gaudi2等加速器不同，Numenta的解決方案在標準服務器上運行，這在業界引起了極大的興奮。

Numenta 通過可擴展且安全的 LLM 服務將該解決方案產品化，用于情感分析、摘要、問答、文檔分類、內容創建和代碼生成等（ NuPIC 或 Numenta 智能計算平臺）。人工智能領域實現準確性的同時，降低了成本，可能是一條可行的路徑。

編輯：黃飛

?