電子發燒友網報道 DeepSeek團隊發布了一篇由創始人梁文鋒署名的新論文，主題為《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（直譯為《基于可擴展查找的條件記憶：大語言模型稀疏性的新維度》）。這篇論文不僅揭示了當前大語言模型在知識檢索方面的低效問題，還通過創新的Engram架構，將模型的“條件記憶”與“計算”分離，從而大幅降低錯誤率并節省算力。

條件記憶與Engram架構

論文的核心創新點在于提出了“條件記憶”這一概念，旨在解決當前大語言模型在知識檢索方面的低效和算力消耗問題。梁文鋒團隊指出，語言建模本質上包含兩類子任務：一類是組合式推理，需要依賴深層、動態計算完成；另一類是知識檢索，面向命名實體等相對靜態的內容，理論上可以通過簡單查找更高效地處理。然而，現有Transformer架構缺乏原生的查找組件，遇到靜態信息時往往仍需反復調用深層網絡進行重建，加劇了算力浪費并推高了推理成本。

為了解決這一問題，DeepSeek團隊提出了Engram架構（記憶痕跡架構），通過將靜態知識存儲與動態計算分離，實現了靜態模式的常數時間O(1)查找。具體而言，條件記憶通過Engram模塊實現，模型能夠基于輸入中的局部上下文模式，從大規模參數化記憶中快速檢索并融合靜態知識表示，從而避免在推理過程中反復通過深層計算重建高頻、模板化信息。

突破GPU內存限制

在GPU內存限制方面，DeepSeek的新論文同樣帶來了革命性的突破。傳統上，GPU內存容量有限，處理大規模數據集時往往需要頻繁的數據傳輸和復雜的數據管理策略。而Engram架構通過稀疏存儲模式，支持更大規模的知識存入，突破了傳統注意力窗口的物理限制。當大約20%至25%的稀疏參數預算分配給Engram，剩余部分留給混合專家模型（MoE）時，模型性能達到最佳。

此外，DeepSeek團隊還通過優化數據流動和調度機制，進一步降低了GPU內存的壓力。例如，采用預取策略預測后續計算所需數據，提前從低速層加載至高速層；通過淘汰策略根據訪問頻率與重要性，將不活躍數據逐出至低速層；以及利用壓縮策略對暫存于內存或磁盤的數據進行無損或有損壓縮，減少I/O開銷。這些技術手段的結合，使得GPU在處理大規模數據集時能夠更加高效地利用內存資源。

當前，全球高端GPU資源90%集中于美國企業，且美國政府通過《芯片與科學法案》對中國實施高端GPU限售，直接導致中國AI企業面臨“硬件卡脖子”困境。以訓練千億參數模型為例，傳統架構需配置數萬塊H100 GPU，單次訓練成本超1億美元，而內存瓶頸更使模型規模受限于物理顯存容量。

DeepSeek的Engram架構通過稀疏存儲與動態計算分離技術，使模型在同等硬件條件下可處理3-5倍規模的參數。實驗數據顯示，其27B參數模型在32k上下文任務中，內存占用僅增加25%卻實現13%的準確率提升。這種技術突破不僅降低中國AI企業對進口芯片的依賴度，更通過內存效率優化使現有硬件產能釋放3倍以上算力。

結語

DeepSeek團隊此次發布的新論文，不僅揭示了當前大語言模型在知識檢索方面的低效問題，還通過創新的Engram架構和條件記憶概念，實現了GPU內存限制的革命性突破。這一技術突破不僅提高了模型運行效率，還為中國AI發展提供了戰略支撐。在全球AI競爭日益激烈的背景下，DeepSeek的探索為中國AI企業開辟了一條自主創新、突破封鎖的發展道路。