2025年伊始,一款來自中國初創公司“深度求索”的AI大模型DeepSeek橫空出世,驚艷全球。DeepSeek厲害之處在于,在中國被外國芯片封鎖的背景下,在性能上接近美國頂尖AI模型,但研發成本極低,R1模型的訓練成本僅為560萬美元,遠低于美國科技巨頭數億美元乃至數十億美元的投入。這一顛覆式創新打破了“更強大的硬件、更高的算力才是推動人工智能發展的關鍵”的固有規則。
DeepSeek還開源免費讓全球開發者自由下載和使用,這不僅加速了AI技術的普及,也削弱了美國在AI技術上的壟斷地位。《黑神話:悟空》制作人馮驥總結了DeepSeek做到的六大突破:強大、便宜、開源、免費、聯網、本土。
DeepSeek 通過創新性的算法優化,巧妙地突破了這一困境,極大程度降低了對硬件的嚴苛要求,成功實現了在有限算力條件下的高效穩定運行。
那么,AI硬件接入DeepSeek需要具備什么條件?例如邊緣計算服務器
SoC/AI 芯片上一般支持高效推理的專用硬件,例如高通 QCS8550 平臺(實測支持 DeepSeek-R1 模型生成速度超 40 Tokens / 秒),或國產昇騰系列(如昇騰 910B)、NVIDIA L40S 等低功耗 GPU/NPU。
內存:根據模型大小調整,例如1.5B 模型的最低內存要求是8GB 內存;70B 模型需 24GB 顯存或通過內存優化技術(如 DeepSeek-R1-Zero 實驗版本)降低需求。
場景化建議
輕量級任務(如語音交互):選擇 1.5B-7B 模型,配置 8GB 內存 + 中端 GPU(如 RTX 3070)。
復雜推理(如多模態分析):采用 24GB 顯存 GPU(如 A100 40GB)或昇騰 910B,結合分布式推理框架。
極低功耗場景(如可穿戴設備):依賴專用 AI 芯片(如高通 Hexagon 處理器)及模型量化技術。
另外,接入DeepSeek的邊緣計算服務器需要良好的散熱系統和電磁屏蔽措施,以確保設備在長時間運行中的穩定性和可靠性
截至目前,已有超過50家信創相關廠商適配DeepSeek,華為昇騰、海光信息、龍芯中科、天數智芯、摩爾線程、中星微、云天勵飛等十幾家本土AI芯片廠商均宣布在云端或是端側適配Deepseek模型,移遠通信的邊緣計算模組 也成功實現了 DeepSeek-R1 蒸餾小模型的穩定運行,以提升智能終端設備的 AI 能力。
通過Deepseek蒸餾和量化出來的端側模型已經做到了和硬件無關的輕量化,支持從超大規模模型到端側設備的無縫擴展,解決了一部分端側場景多層次硬件需求,讓終端硬件變成AI硬件。
AI邊緣計算服務器具備32Tops超強算力,采用8核 ARM*A53 CPU,支持H.264和H.265視頻解碼,支持32路1080P@25視頻接入,可實現AI視頻實時分析。預裝Ubuntu操作系統,方便開發和部署各種應用。另外還采用主動式渦輪風扇散熱設計,散熱性能優越,延長設備使用壽命。具備雙RJ45和RS485等多功能接口,支持連接IP攝像機和USB攝像機;具備IP40防護等級和硬件看門狗功能,確保系統在異常情況下能夠自動恢復。
-
ai硬件
+關注
關注
0文章
34瀏覽量
2633 -
大模型
+關注
關注
2文章
3648瀏覽量
5176 -
DeepSeek
+關注
關注
2文章
835瀏覽量
3252
發布評論請先 登錄
邊緣計算中的AI加速器類型與應用
邊緣計算AI硬件如何接入DeepSeek嗎?需要具備哪些條件?
評論