電子發燒友網報道（文/梁浩斌）周二xAI發布了Grok3，這個馬斯克稱之為“地球上最聰明的AI”搶占了所有人的眼球。

為了打造最強AI大模型，xAI投入了20萬塊H100 GPU，計算資源是上一代Grok2的15倍左右。在Benchmarks中，Grok3毫無懸念成功地領先Deepseek R1、o3 mini等對手。

不過用如此大規模的算力集群，花費上一代15倍的計算資源投入，業界認為Grok3的性能只是略微提升了大模型能力上限，實際提升幅度低于算力投入的預期。這或許也預示著大模型的Scaling Laws或許已經出現邊際效益遞減。

來源：X

就在Grok3發布的當天，DeepSeek團隊也發表了一篇論文（https://arxiv.org/pdf/2502.11089），介紹了一種新的稀疏注意力機制（Natively Sparse Attention,NSA），用于提升長文本訓練和推理的效率，并具備硬件對齊和端到端訓練的特性。

截至19日下午，這篇推文在X上已經有超過180萬觀看量。值得一提的是，DeepSeek創始人梁文鋒也出現在這篇論文的作者名單中。下面我們就來看一下這篇論文有哪些創新點。

核心理念：用更少的計算做更多的事

在大語言模型（LLM）發展的初期，曾經有一段時間處理長文本是考量不同模型性能的指標之一。因為傳統LLM在處理長文本時要面臨的一個問題是，計算成本過高。

為什么計算成本高？這主要是因為LLM此前使用的“全注意力”機制需要計算每個詞與其他所有詞之間的關系，當文本長度增加時，這種計算量會以指數級別增加，導致高延遲和高能耗，大幅增加了計算成本。比如要處理一本十萬字的書時，傳統方法需要計算這十萬字中所有詞之間的兩兩關系，這會讓計算速度變得極為緩慢，甚至根本無法完成任務。

為了解決這個問題，實際上稀疏注意力（Sparse Attention）機制一直在LLM中被應用。稀疏注意力的核心思想是，不需要計算所有詞之間的關系，只需要關注那些最重要的部分。通過這種方式實現“偷懶”，可以大大減少計算量，同時保持模型性能。

但現有的稀疏注意力機制也存在一些問題，比如在推理端，盡管理論上計算量是減少了，但實際推理速度沒有明顯加快；而在訓練端，現有的稀疏注意力機制在訓練端效果都不太好，只適用于推理階段。

所以這次DeepSeek團隊推出的NSA就是為了解決現有稀疏注意力機制的缺點，提高計算效率。

具體來看，NSA主要通過對文本的處理和硬件優化兩大方面實現。在文本處理方面，NSA采用分層稀疏策略，首先是將文本進行粗粒度壓縮，即將長文本分成多個塊，比如每32個詞為一個塊，然而用機器學習模型提取每個塊的摘要，減少計算量。

然后對文本進行細粒度選擇，即動態篩選出對當前任務最關鍵的幾個塊，比如通過注意力評分選出16個塊，只計算這些塊的詳細信息。

最后保留局部的上下文，比如最近的512個詞，來確保模型能夠捕捉到上下文中短期的關系。

這個過程可以用閱讀書本來理解。比如你想看一本很厚的書，但沒有時間逐個字去看，那么你會通過哪些方法去了解這本書里的內容？上面提到的粗粒度壓縮，就相當于是將這本書快速翻閱一下，每頁都只是一眼掃過，大致了解內容；而細粒度選擇，就相當于標記出書里比較重要的章節和段落；最后仔細閱讀標記出來的部分，同時也能簡單看一下標記部分的上下文內容，這樣對于快速閱讀一本書而言顯然會是一個有效的方式。

而在硬件優化方面，NSA首先是將數據按連續塊加載到GPU的內存中，減少隨機訪問的開銷，實現分塊內存訪問；在解碼階段，令多個注意力頭共享相同的鍵值緩存，降低內存帶寬需求；在訓練階段，直接引入稀疏性，確保模型學會如何有效利用稀疏結構，實現端到端訓練。

DeepSeek在使用NSA進行驗證時，實際效果也相當喜人。首先是模型的訓練和推理速度都有明顯的提升，在64k長度的文本處理中，使用英偉達A100 GPU，NSA的推理速度比傳統注意力快11.6倍，訓練速度提升6-9倍。

同時在知識問答（MMLU）、代碼生成（HumanEval）、長文本理解（LongBench）等任務中，NSA的性能與全注意力模型相當甚至更好。證明NSA在提高效率的同時，依然可以保持良好的模型性能。

通過適配GPU的Tensor Core和內存架構，NSA也能最大化硬件利用率。NSA首次將分層稀疏策略與GPU內存層級（HBM→SRAM）對齊，實現理論計算節省與實際加速的統一。

所以總結下來，NSA的出現解決了稀疏注意力機制在實際應用中的兩大難題。在推理效率上，NSA顯著加快長文本處理速度，令大模型能夠處理更多超長文本任務；在訓練上，NSA相比傳統的稀疏注意力機制，可以更好地支持模型訓練。

更重要的是，NSA證明了稀疏注意力不是只能被用于推理，還能在訓練上應用，這能夠為下一代低功耗、高吞吐的LLM部署提供了關鍵技術基礎。

Kimi同步發布MoBA論文，提高長文本處理效率

來源：X

DeepSeek發布論文的同一天，Kimi也發布了與NSA類似的MoBA，同樣采用了稀疏注意力的機制，旨在解決大語言模型處理長上下文時計算成本過高的問題。（論文鏈接https://github.com/MoonshotAI/MoBA/blob/master/MoBA_Tech_Report.pdf）

不過于NSA不同的是，MoBA借鑒了“專家混合”（MoE）的理念，把整個文本分成多個“塊”，然后通過一種“選擇機制”決定每個查詢應該關注哪些塊。這種方式類似于讓模型自己決定“哪些部分更重要”，而不是預先設定固定的規則。

MoBA的核心是“動態選擇”，即通過一個“門控機制”來決定哪些塊需要被關注。這種方式讓模型可以根據任務需求靈活調整注意力范圍。

同時在硬件優化上，結合了FlashAttention技術，進一步提升了計算效率。通過分布式計算解決了GPU內存限制的問題，可以輕松擴展到1000萬詞以上的超長序列。超長文本也是MoBA最顯著的特性之一。

小結：

目前大模型Scaling Laws已經開始出現邊際效益遞減的跡象，未來提高算力利用率可能是推動大模型應用普及的關鍵方向。但隨著AI應用的不斷普及，算力需求整體來看依然是會繼續增長，大模型想要繼續發展，繼續投入算力硬件的回報或許不會再有顯著提升，各大研究機構和公司還需要尋找更多新的突破。