星環科技近日宣布,其企業級大模型運營管理平臺Sophon LLMOps現已全面支持DeepSeek R1的全參版本以及蒸餾版本。這一消息標志著星環科技在AI大模型管理領域邁出了重要一步。
Sophon LLMOps作為一款功能強大的企業級平臺,致力于為用戶提供全面的大模型運營管理解決方案。該平臺支持大模型與小模型的統一管理,能夠輕松納管開源及商業化大模型,滿足用戶多樣化的需求。同時,Sophon LLMOps還具備底層國內外GPU/NPU(ARM/x86)異構算力的混合部署能力,實現了資源的精細化切分及高效調度,進一步提升了系統的靈活性和性能。
此外,Sophon LLMOps還提供了模型及應用效果評估、全局狀態監控及預警等功能,幫助用戶實時掌握模型運行狀況,確保系統的穩定運行。這些功能的加入,使得Sophon LLMOps成為了一款真正意義上的企業級大模型運營管理平臺,為用戶提供了從模型部署到運行管理的全方位支持。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
星環科技
+關注
關注
0文章
37瀏覽量
2887 -
大模型
+關注
關注
2文章
3648瀏覽量
5177 -
DeepSeek
+關注
關注
2文章
835瀏覽量
3255
發布評論請先 登錄
相關推薦
熱點推薦
百度騰訊搶灘布局!DeepSeek-R1升級和開源背后,國產AI的逆襲之路
電子發燒友網報道(文/李彎彎)日前,DeepSeek官方宣布DeepSeek-R1模型已完成小版本試升級,當前版本為DeepSeek-R1-
DeepSeek R1 MTP在TensorRT-LLM中的實現與優化
TensorRT-LLM 在 NVIDIA Blackwell GPU 上創下了 DeepSeek-R1 推理性能的世界紀錄,Multi-Token Prediction (MTP) 實現了大幅提速
如何在NVIDIA Blackwell GPU上優化DeepSeek R1吞吐量
開源 DeepSeek R1 模型的創新架構包含多頭潛在注意力機制 (MLA) 和大型稀疏混合專家模型 (MoE),其顯著提升了大語言模型 (LLM) 的推理效率。
速看!EASY-EAI教你離線部署Deepseek R1大模型
1.Deepseek簡介DeepSeek-R1,是幻方量化旗下AI公司深度求索(DeepSeek)研發的推理模型。DeepSeek-R1采用強化學習進行后訓練,旨在提升推理能力,尤其擅
【「DeepSeek 核心技術揭秘」閱讀體驗】書籍介紹+第一章讀后心得
的展望,大模型的訓練方法、推理部署,到 GPU 硬件及推理模型的發展趨勢,以前瞻性的視角為讀者描繪了大模型的發展藍圖。
技驚四座的DeepSeek -R1模型發布歷程
2025年年初,全球人工智能領域
發表于 07-17 11:59
【書籍評測活動NO.62】一本書讀懂 DeepSeek 全家桶核心技術:DeepSeek 核心技術揭秘
2025年年初,DeepSeek 成為全球人工智能(AI)領域的焦點,其DeepSeek-V3 和DeepSeek-R1 版本在行業內引發了結構性震動。
發表于 06-09 14:38
DeepSeek開源新版R1 媲美OpenAI o3
DeepSeek“悄悄”地又放了一個大招,DeepSeek開源了R1最新0528版本。盡管DeepSeek目前還沒有對該
SL1680 SoC本地運行DeepSeek R1 1.5B大模型
深蕾半導體SL1680 SoC本地成功運行DeepSeek R1 Distill Qwen2.5 1.5B大模型,展示了執行過程及本地小參數大模型與云端大模型結合的應用場景,并簡要介紹了ASTRA SL1680 SoC的性能特點。
科大訊飛深度解析DeepSeek-V3/R1推理系統成本
本篇分析來自科大訊飛技術團隊,深度解析了DeepSeek-V3 / R1 推理系統成本,旨在助力開發者實現高性價比的MoE集群部署方案。感謝訊飛研究院副院長&AI工程院常務副院長龍明康、AI工程院AI云平臺研發部總監李珍松、訊飛星辰MaaS團隊的研究對本文的貢獻。
顯存也能疊疊樂,雙 Intel Arc A770 顯卡低成本部署 DeepSeek R1 32B 蒸餾模型體驗
今年春節后,DeepSeek R1 風暴般地席卷全國,小到手機 App,大到新能源汽車,似乎一夜間所有產品都接入了 DeepSeek R1。不得不說
如何使用OpenVINO運行DeepSeek-R1蒸餾模型
DeepSeek-R1在春節期間引發了全球科技界的熱度,DeepSeek-R1 是由 DeepSeek 開發的開源推理模型,用于解決需要邏輯推理、數學問題解決和實時決策的任務。
HarmonyOS NEXT開發實戰:DevEco Studio中DeepSeek的使用
/completions;
點擊Body將model修改為deepseek-chat(對應DeepSeek-V3)或者deepseek-reasoner(對應DeepSeek-R1)
發表于 03-07 14:56
AI本土化版圖再拓展 三星Galaxy S25系列支持DeepSeek-R1
S25系列正式接入了DeepSeek-R1大模型,令AI能力進一步得到強化。目前,三星Galaxy S25系列用戶無需下載APP或注冊、登錄賬號,只需將三星生活助手升級至最新版本,或
星環科技Sophon LLMOps全面支持DeepSeek R1版本
評論