近日,基于兆芯高性能通用處理器的PC終端、工作站以及服務器成功實現(xiàn)DeepSeek-R1-Distill模型(1.5B/7B/32B/70B/671B等)的本地部署,在保證推理效率的同時,能夠提供靈活的算力選擇,以滿足不同規(guī)模和需求的推理生成應用,面向用戶提供安全、智能、高效的AI應用體驗。
自春節(jié)至今,國內AI大模型DeepSeek成功成為這段時間最火的“中國力量”,短短數周,中國智算產業(yè)的大半壁江山,都在擁抱DeepSeek!無論是互聯(lián)網科技大廠,還是行業(yè)巨頭,都紛紛接入Deepseek以實現(xiàn)性能更強大、成本更優(yōu)異的AI功能與服務。
兆芯高性能通用處理器具備覆蓋筆記本、臺式機、工作站、服務器的全棧硬件解決方案能力,以及強大的軟件生態(tài),原生支持以Linux、Windows、國產操作系統(tǒng)、及國產GPU加速卡等為基礎的DeepSeek大模型生態(tài)。
基于兆芯高性能通用處理器的PC終端、工作站以及服務器成功實現(xiàn)DeepSeek-R1-Distill模型(1.5B/7B/32B/70B/671B等)的本地部署,在保證推理效率的同時,能夠提供靈活的算力選擇,以滿足不同規(guī)模和需求的推理生成應用,面向用戶提供安全、智能、高效的AI應用體驗。
KX-7000臺式機成功本地部署DeepSeek-R1-7B模型
基于開先KX-7000桌面處理器的臺式機,通過搭配國內顯卡及加速卡,在本地成功部署DeepSeek-R1-7B模型,實現(xiàn)高性能桌面平臺與先進AI模型的完美結合,充分發(fā)揮DeepSeek強大的語義理解和推理能力, 通過與WPS Word、Excel以及VSCode等常用工具的整合,可以實現(xiàn)智能文檔處理、數據處理以及智能編程等功能,為用戶帶來顯著的生產力提升和智能化體驗。
KX-7000是兆芯新一代的高性能桌面PC處理器系列,采用全新的“世紀大道”自主內核微架構和先進的Chiplet 互連架構,集成8個CPU 核心,共享32MB 三級緩存,最高工作頻率可達3.7GHz。
KH-40000/16工作站成功部署DeepSeek-R1-32B模型
基于KH-40000/16服務器處理器的工作站部署了DeepSeek-R1-7B、DeepSeek-R1-14B、DeepSeek-R1-32B模型。采用聯(lián)和東海XRS302 AI工作站平臺,搭配4張國內高性能GPU推理加速卡,可以提供信創(chuàng)+AI融合的高性價比、穩(wěn)定高效的推理能力。設備通過優(yōu)化的CPU與多GPU間互連架構,有效提升了整體數據傳輸帶寬,降低延遲。
在雙路KH-40000/16工作站上部署DeepSeek 32B模型,不僅能夠更好發(fā)揮模型的強大能力,還能在性能、效率和穩(wěn)定性上實現(xiàn)全面優(yōu)化,為更智能的AI應用提供強有力的支持。另外,充分考慮部署需求,工作站采用了低功耗、靜音設計,可以靈活便捷應用于如智能辦公等企業(yè)級的桌面本地化AI推理場景。
KH-40000/32雙路服務器支持本地部署DeepSeek R1 671B模型
在服務器端,開勝KH-40000/32處理器可提供雙路64核的高性能計算能力,支持2TB海量內存,同時提供強大的擴展能力。目前,通過搭配國內加速卡,在KH-40000/32服務器上成功完成了DeepSeek-R1-70B版本的適配和部署,能夠為數學、編程和推理等多個領域應用提供安全可靠、高性能的平臺與解決方案。
同時,針對DeepSeek-R1-671B大模型,為了更有效的測試服務器的兼容性,在不插入任何外界加速卡的情況下,基于開勝KH-40000/32處理器已經完成本地DeepSeek-R1-671B大模型的部署,完整的驗證了兆芯服務器CPU架構承載千億參數模型的硬件支撐能力。
“小而美”且開源的DeepSeek不僅讓全球反思“大力出奇跡”的OpenAI路線,也為國內算力芯片企業(yè)打開了通往AGI(通用人工智能)的另一扇窗。兆芯憑借已建立的完善且成熟的軟硬件自主生態(tài),支持多款國產GPU卡以及麒麟、統(tǒng)信、中科方德等國產操作系統(tǒng),為部署DeepSeek模型提供了高性能、低成本、自主可控的解決方案。通過硬件與軟件的深度優(yōu)化,兆芯平臺能夠充分發(fā)揮DeepSeek的能力,滿足多種AI應用場景的需求,同時符合國家對信息技術的戰(zhàn)略要求。
關于兆芯
兆芯堅持自主創(chuàng)新、生態(tài)完善、好用不貴的發(fā)展理念,掌握自主通用處理器及其系統(tǒng)平臺芯片研發(fā)設計的核心技術,全面覆蓋其微架構與實現(xiàn)技術等關鍵領域,構建了健全的知識產權體系,致力于為用戶提供高效、兼容、安全的自主通用處理器和芯片組等產品,構建從云到邊再到端等各種應用場景下的計算解決方案,支撐政務、金融、教育、通信與廣播電視、能源、交通、醫(yī)療、工業(yè)制造等行業(yè)應用的平滑遷移,幫助用戶節(jié)約成本,支撐產業(yè)創(chuàng)新升級,助力加快構建“雙循環(huán)”新發(fā)展格局,推動國民經濟高質量發(fā)展。
-
服務器
+關注
關注
14文章
10251瀏覽量
91478 -
兆芯
+關注
關注
2文章
294瀏覽量
18484 -
大模型
+關注
關注
2文章
3648瀏覽量
5176 -
DeepSeek
+關注
關注
2文章
835瀏覽量
3254
原文標題:兆芯全系列整機形態(tài)成功部署DeepSeek R1大模型
文章出處:【微信號:gh_dff030a16604,微信公眾號:兆芯】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
DeepSeek模型如何在云服務器上部署?
如何在NVIDIA Blackwell GPU上優(yōu)化DeepSeek R1吞吐量
速看!EASY-EAI教你離線部署Deepseek R1大模型
【「DeepSeek 核心技術揭秘」閱讀體驗】書籍介紹+第一章讀后心得
DeepSeek開源新版R1 媲美OpenAI o3
【幸狐Omni3576邊緣計算套件試用體驗】CPU部署DeekSeek-R1模型(1B和7B)
DeepSeek R1模型本地部署與產品接入實操
SL1680 SoC本地運行DeepSeek R1 1.5B大模型
【幸狐Omni3576邊緣計算套件試用體驗】DeepSeek 部署及測試
博實結完成DeepSeek大模型本地化部署
顯存也能疊疊樂,雙 Intel Arc A770 顯卡低成本部署 DeepSeek R1 32B 蒸餾模型體驗
如何使用OpenVINO運行DeepSeek-R1蒸餾模型
在英特爾哪吒開發(fā)套件上部署DeepSeek-R1的實現(xiàn)方式
兆芯全面部署DeepSeek R1大模型
評論