近日,飛騰騰云S5000C和飛騰騰銳D3000成功實現對DeepSeek全系列大模型的端到端支持,覆蓋數據中心和終端場景,本地部署的推理效率與國外同類產品架構解決方案相當。
近年來,飛騰積極擁抱AI浪潮,致力于推動國產芯片與AI技術的深度融合,去年7月,飛騰攜手生態伙伴打造并發布了 全棧國產化智算中心解決方案,為眾多行業提供從端到云的智能化算力服務。2024年,DeepSeek-V2.5 234B大模型便已在飛騰騰云S5000C平臺成功實現穩定運行。基于飛騰騰云S5000C的設備搭配8塊國產AI卡,其整體性能可達到國外平臺性能的80%左右,已支撐行業用戶在項目中使用。
今年春節期間,DeepSeek發布了最新的DeepSeek-V3和R1版本后,憑借其卓越的性能和極高的性價比,迅速成為科技領域的焦點,為開發者和企業提供了更高效、更靈活的私有化部署解決方案。飛騰技術團隊第一時間在AI實驗室進行了其在飛騰騰云S5000C平臺和飛騰騰銳D3000上本地部署驗證,形成整體解決方案,助力用戶構建端到端國產平臺DeepSeek大模型智算環境。
在數據中心側,基于飛騰騰云S5000C的服務器可以與多款AI加速卡配合實現DeepSeek蒸餾版和全量版部署。飛騰AI實驗室在單機8卡服務器平臺已進行蒸餾版DeepSeek-R1-Distill-Llama-70B版本測試,實測推理速度可達到22tokens/s,本地部署的推理效率與國外同類產品架構解決方案相當。完整版DeepSeek R1 671B模型采用分布式推理框架,基于四機32卡AI服務器集群運行可部署成功,為企業級私有化部署提供完善的軟硬件解決方案。
在用戶終端側,基于飛騰騰銳D3000的臺式機可以本地部署DeepSeek-R1 7B蒸餾版模型,搭配1張國產推理卡,實現AI PC能力,助力用戶建立安全可靠的本地知識助手。
飛騰平臺已實現端到端支持DeepSeek全系列、眾多開源和國產頭部大模型的本地化部署,為企業級和個人應用提供全國產化、軟硬一體、性價比高、安全、開放的全棧解決方案,與行業客戶和生態伙伴一同助力行業的數字化轉型和智能化升級!
-
飛騰CPU
+關注
關注
0文章
12瀏覽量
2235 -
DeepSeek
+關注
關注
2文章
835瀏覽量
3269
原文標題:飛騰CPU × DeepSeek大模型,雙芯加持全系列穩跑
文章出處:【微信號:TJ_PHYTIUM,微信公眾號:Phytium飛騰】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
【「DeepSeek 核心技術揭秘」閱讀體驗】+混合專家
【「DeepSeek 核心技術揭秘」閱讀體驗】--全書概覽
飛騰助力“疆電入渝”首批機組投產發電
深圳雙芯信息科技:國產飛騰OPS電腦,安全可靠自主可控
【書籍評測活動NO.62】一本書讀懂 DeepSeek 全家桶核心技術:DeepSeek 核心技術揭秘
【幸狐Omni3576邊緣計算套件試用體驗】CPU部署DeekSeek-R1模型(1B和7B)
SL1680 SoC本地運行DeepSeek R1 1.5B大模型
如何基于Android 14在i.MX95 EVK上運行Deepseek-R1-1.5B和性能
將Deepseek移植到i.MX 8MP|93 EVK的步驟
安徽省水利科學研究院攜手中科曙光完成DeepSeek大模型部署
【幸狐Omni3576邊緣計算套件試用體驗】使用rkllm運行DeepSeek的服務模式體驗
【幸狐Omni3576邊緣計算套件試用體驗】DeepSeek 部署及測試
芯來科技攜手芯芒科技發布RISC-V CPU系統仿真平臺
如何使用OpenVINO運行DeepSeek-R1蒸餾模型
飛騰CPU攜手DeepSeek大模型,雙芯聯動確保全系列穩定運行
評論