DeepSeek推出NSA機制，加速長上下文訓(xùn)練與推理
近日，DeepSeek公司宣布推出一種全新的稀疏注意力機制——NSA(Native Sparse Attention)。據(jù)DeepSeek介紹，NSA旨在與現(xiàn)代硬件實現(xiàn)高度一致，并且具備本機可訓(xùn)練的特性，專為超快速的長上下文訓(xùn)練和推理而設(shè)計。
NSA通過針對現(xiàn)代硬件的優(yōu)化設(shè)計，顯著加快了推理速度，并大幅度降低了預(yù)訓(xùn)練成本，同時保持了卓越的性能表現(xiàn)。這一機制在確保效率的同時，并未犧牲模型的準確性或功能。
在廣泛的基準測試、涉及長上下文的任務(wù)以及基于指令的推理場景中，NSA的表現(xiàn)與采用完全注意力機制的模型相當，甚至在部分測試中展現(xiàn)出更優(yōu)的性能。這一成果不僅驗證了NSA機制的有效性和實用性，也展示了DeepSeek在人工智能領(lǐng)域的深厚技術(shù)積累和創(chuàng)新能力。
DeepSeek推出的NSA機制，不僅為長上下文訓(xùn)練和推理提供了全新的解決方案，也為人工智能領(lǐng)域的發(fā)展注入了新的活力。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
人工智能
+關(guān)注
關(guān)注
1817文章
50094瀏覽量
265271 -
NSA
+關(guān)注
關(guān)注
4文章
108瀏覽量
19242 -
DeepSeek
+關(guān)注
關(guān)注
2文章
835瀏覽量
3255
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
NVIDIA BlueField-4為推理上下文記憶存儲平臺提供強大支持
隨著代理式 AI 工作流將上下文窗口擴展到數(shù)百萬個 token，并將模型規(guī)模擴展到數(shù)百萬億個參數(shù)，AI 原生企業(yè)正面臨著越來越多的擴展挑戰(zhàn)。這些系統(tǒng)目前依賴于智能體長期記憶來存儲跨多輪、工具和會話持續(xù)保存的上下文，以便智能體能夠基于先前的
NVIDIA DGX SuperPOD為Rubin平臺橫向擴展提供藍圖
NVIDIA DGX Rubin 系統(tǒng)整合了 NVIDIA 在計算、網(wǎng)絡(luò)和軟件領(lǐng)域的最新突破，將推理 token 成本降至 NVIDIA Blackwell 平臺的十分之一，可加速從推理和訓(xùn)練
深入解析NVIDIA Nemotron 3系列開放模型
這一全新開放模型系列引入了開放的混合 Mamba-Transformer MoE 架構(gòu)，使多智能體系統(tǒng)能夠進行快速長上下文推理。
奇異摩爾入選2025中國科創(chuàng)好公司半導(dǎo)體榜單
隨著國產(chǎn)大模型接連取得突破，AI產(chǎn)業(yè)的焦點正迅速轉(zhuǎn)移。就在本月，DeepSeek正式發(fā)布V3.2和其高算力版本Speciale，主力模型V3.2強化通用Agent與長上下文處理能力，而
大語言模型如何處理上下文窗口中的輸入
本博客介紹了五個基本概念，闡述了大語言模型如何處理上下文窗口中的輸入。通過明確的例子和實踐中獲得的見解，本文介紹了多個與上下文窗口有關(guān)的基本概念，如詞元化、序列長度和注意力等。
請問riscv中斷還需要軟件保存上下文和恢復(fù)嗎？
以下是我拷貝的文檔里的說明，這個中斷處理還需要軟件來寫上下文保存和恢復(fù)，在使用ARM核的單片機都不需要考慮這些的，使用過的小伙伴能解答嗎？
3.8. 進出中斷的上下文保存和恢復(fù)
RISC-V架構(gòu)
發(fā)表于 10-20 09:56
英特爾Gaudi 2E AI加速器為DeepSeek-V3.1提供加速支持
英特爾? Gaudi 2EAI加速器現(xiàn)已為DeepSeek-V3.1提供深度優(yōu)化支持。憑借出色的性能和成本效益，英特爾Gaudi 2E以更低的投入、更高的效率，實現(xiàn)從模型訓(xùn)練的深度突破到推理
今日看點丨華為發(fā)布AI推理創(chuàng)新技術(shù)UCM；比亞迪汽車出口暴增130%
緩存加速算法工具，分級管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)，可擴大推理上下文窗口，實現(xiàn)高吞吐、低時延的推理體驗，降低每Token推理
發(fā)表于 08-13 09:45
?5291次閱讀
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗】--全書概覽
講解Deepseek的使用方法
第三章 深入剖析Deepseek-V3的模型架構(gòu)、訓(xùn)練框架、推理階段優(yōu)化、后訓(xùn)練優(yōu)化等關(guān)鍵技術(shù)
第四章關(guān)于
發(fā)表于 07-21 00:04
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗】書籍介紹+第一章讀后心得
）機制和多 token 預(yù)測的詳細解讀，幫助讀者全面了解 DeepSeek-V3 在技術(shù)上的先進性和創(chuàng)新性。同時，對訓(xùn)練框架的并行策略、FP8 混合精度訓(xùn)練及
發(fā)表于 07-17 11:59
信而泰×DeepSeek：AI推理引擎驅(qū)動網(wǎng)絡(luò)智能診斷邁向 “自愈”時代
模態(tài)的技術(shù)特性，DeepSeek正加速推動AI在金融、政務(wù)、科研及網(wǎng)絡(luò)智能化等關(guān)鍵領(lǐng)域的深度應(yīng)用。 信而泰：AI推理引擎賦能網(wǎng)絡(luò)智能診斷新范式信而泰深度整合DeepSeek-R1大模型
發(fā)表于 07-16 15:29
鴻蒙NEXT-API19獲取上下文，在class中和ability中獲取上下文，API遷移示例-解決無法在EntryAbility中無法使用最新版
摘要：隨著鴻蒙系統(tǒng)API升級至16版本（modelVersion5.1.1），多項API已廢棄。獲取上下文需使用UIContext，具體方法包括：在組件中使用getUIContext()，在類中使
【書籍評測活動NO.62】一本書讀懂 DeepSeek 全家桶核心技術(shù)：DeepSeek 核心技術(shù)揭秘
（MLA）機制和多 token 預(yù)測的詳細解讀，幫助讀者全面了解 DeepSeek-V3 在技術(shù)上的先進性和創(chuàng)新性。同時，對訓(xùn)練框架的并行策略、FP8 混合精度訓(xùn)練及
發(fā)表于 06-09 14:38
S32K在AUTOSAR中使用CAT1 ISR，是否需要執(zhí)行上下文切換？
如果我們在 AUTOSAR 中使用 CAT1 ISR，是否需要執(zhí)行上下文切換？另外，是否需要返回指令才能跳回到作系統(tǒng)？您有沒有帶有 CAT1 ISR 的 S32K3x4 微控制器的示例？
發(fā)表于 03-27 07:34
為什么深度學習中的Frame per Second高于OpenVINO?演示推理腳本？
在 DL Workbench 上使用 Microsoft 通用對象上下文 （MS COCO） 數(shù)據(jù)集運行 YOLOv4 對象檢測模型，并獲得 50 - 60 FPS。
OpenVINO?演示推理腳本運行，并獲得更高的 FPS。
發(fā)表于 03-06 07:27
工商網(wǎng)監(jiān)
評論