伦伦影院久久影视,天天操天天干天天射,ririsao久久精品一区 ,一本大道香蕉大久在红桃,999久久久免费精品国产色夜,色悠悠久久综合88,亚洲国产精品久久无套麻豆,亚洲香蕉毛片久久网站,一本一道久久综合狠狠老

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

積算科技上線赤兔推理引擎服務,創(chuàng)新解鎖FP8大模型算力

全球TMT ? 來源:全球TMT ? 作者:全球TMT ? 2025-07-30 21:44 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群


北京2025年7月30日 /美通社/ -- 近日,北京積算科技有限公司(以下簡稱"積算科技")宣布其算力服務平臺上線赤兔推理引擎。積算科技PowerFul-AI應用開發(fā)平臺與赤兔合作,打造高性價比的模型輕量化部署方案。用戶通過遠程算力平臺預置的模型鏡像與AI工具,僅需50%的GPU算力即可解鎖大模型推理、企業(yè)知識庫搭建、智能體開發(fā),加速大模型在智能問答、報告生成、客服助手、智能體等典型行業(yè)場景的落地。


赤兔推理引擎由北京清程極智科技有限公司(以下簡稱"清程極智")開發(fā),并聯(lián)合清華大學團隊發(fā)布開源版本。其核心價值在于,打破了FP8模型原生部署時GPU必須支持FP8精度的要求。通過底層算子優(yōu)化(如GeMM、MoE的指令級重構)和編譯技術創(chuàng)新,赤兔早在今年三月即首次實現(xiàn)在非FP8精度卡上原生運行FP8高精度模型,并確保推理過程幾乎零精度損失。

積算科技聯(lián)合清程極智,完成了赤兔推理引擎在積算科技PowerFul-AI應用開發(fā)平臺上的驗證測試。測試結果表明,赤兔推理引擎在積算科技PowerFul-AI平臺上運行穩(wěn)定、性能表現(xiàn)優(yōu)異,滿足雙方兼容性認證的各項標準,能夠快速完成DeepSeek、Qwen等大模型推理部署,并支持基于非FP8精度GPU卡實現(xiàn)FP8模型部署,相比于使用BF16精度部署,GPU算力需求減半。以部署DeepSeek-R1-671B為例,原需4臺8卡機2560GB顯存,現(xiàn)僅需2臺8卡機1280GB顯存即可滿足要求。

積算科技PowerFul-AI平臺攜手赤兔推理引擎,將為AI大模型應用開發(fā)打造"成本減半、零性能損耗"的解決方案,提供構建企業(yè)知識庫開發(fā)、智能體搭建等功能,助力企業(yè)用戶靈活快速構建大模型通用應用及個性化端到端解決方案。

PowerFul-AI是積算科技的大模型應用落地解決方案,能夠為AI大模型落地應用提供高效、易用、安全的端到端開發(fā)平臺,幫助企業(yè)及科研機構高效開發(fā)部署AI大模型應用。目前,PowerFul-AI已經(jīng)全面適配DeepSeek R1、DeepSeek V3等模型。用戶只需選擇鏡像和模型文件,并配置模型所需的算力資源,即可快速完成模型部署,實現(xiàn)DeepSeek的"分鐘級"上線。

積算科技誕生于全球生成式AI浪潮,專注于智能算力服務市場,致力于成為中國最具價值的智能算力服務商,聚焦互聯(lián)網(wǎng)、運營商、高校、新能源汽車等領域的多家頭部客戶提供算力服務。公司擁有萬卡級先進智能算力資源池,提供裸金屬、智能算力系統(tǒng)、專屬智能算力系統(tǒng)等算力服務產(chǎn)品,適用于大模型訓練與推理、算法研究、大數(shù)據(jù)分析、自動駕駛、智能科學計算等多元場景。其運維和服務團隊具備大規(guī)模智能算力系統(tǒng)設計建設、大模型開發(fā)應用及性能優(yōu)化能力,可提供全棧大模型應用開發(fā)服務支持,并根據(jù)客戶需求提供靈活服務模式。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    91

    文章

    40509

    瀏覽量

    302111
  • 大模型
    +關注

    關注

    2

    文章

    3712

    瀏覽量

    5231
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    海光DCU完成階躍星辰基座模型Step 3.5 Flash推理適配

    近日,海光DCU正式完成對階躍星辰旗艦開源基座模型Step 3.5 Flash的全流程適配與深度調(diào)優(yōu)。得益于新一代海光DCU原生支持FP8精度、超越主流旗艦產(chǎn)品的更大顯存等核心優(yōu)勢,高效完成Step 3.5 Flash FP8
    的頭像 發(fā)表于 03-26 09:48 ?421次閱讀

    邊緣AI臨界點:深度解析176TOPS香橙派AI Station的產(chǎn)業(yè)價值

    Station的出現(xiàn),標志著邊緣AI不再僅僅是“云端的縮水版”,而是具備獨立生命周期的“邊緣原生”節(jié)點 。它不僅能在本地完成推理,還能通過豐富的接口控制物理世界,通過大內(nèi)存加載復雜的決策
    發(fā)表于 03-10 14:19

    Hailo-8卡 + RK3588實測!26TOPS加持,助力AI視覺升級!

    近年來,AI視覺在邊緣端應用廣泛,行業(yè)對AI推理硬件的要求也日益提升。傳統(tǒng)CPU在CNN等視覺模型推理任務中逐漸顯露瓶頸,而專用AI加速器成為破局的關鍵。 Hailo-8 AI
    的頭像 發(fā)表于 03-02 16:46 ?201次閱讀
    Hailo-<b class='flag-5'>8</b><b class='flag-5'>算</b><b class='flag-5'>力</b>卡 + RK3588實測!26TOPS加持,助力AI視覺升級!

    從訓練到推理:大模型需求的新拐點已至

    在大模型產(chǎn)業(yè)發(fā)展的早期階段,行業(yè)焦點主要集中在大模型訓練所需的投入。一個萬億參數(shù)大模型的訓練可能需要數(shù)千張GPU芯片連續(xù)運行數(shù)月,成本高
    的頭像 發(fā)表于 02-05 16:07 ?957次閱讀
    從訓練到<b class='flag-5'>推理</b>:大<b class='flag-5'>模型</b><b class='flag-5'>算</b><b class='flag-5'>力</b>需求的新拐點已至

    進迭時空發(fā)布新一代RISC-V AI CPU芯片,滿足端側大模型需求

    FP8數(shù)據(jù)精度原生AI推理,還是首顆完整支持芯片級虛擬化的RISC-V產(chǎn)品。 ? 硬件配置上,K3配備8顆高性能X100大核,主頻2.4GHz,單核性能與ARM A76相當,60TOPS的AI
    的頭像 發(fā)表于 01-30 14:06 ?9304次閱讀

    華為榮獲服務商互聯(lián)能力成熟度模型參編證書

    在2025互聯(lián)網(wǎng)大會期間,互聯(lián)網(wǎng)服務論壇在成都成功舉辦。論壇現(xiàn)場舉行了《
    的頭像 發(fā)表于 12-31 11:50 ?715次閱讀

    積木+3D堆疊!GPNPU架構創(chuàng)新,應對AI推理需求

    電子發(fā)燒友網(wǎng)報道(文/李彎彎)2025年,人工智能正式邁入應用推理時代。大模型從實驗室走向千行百業(yè),推理需求呈指數(shù)級爆發(fā)。然而,高昂的推理成本與有限的
    的頭像 發(fā)表于 12-11 08:57 ?7952次閱讀

    湘軍,讓變成生產(chǎn)

    腦極體
    發(fā)布于 :2025年11月25日 22:56:58

    國產(chǎn)AI芯片真能扛住“內(nèi)卷”?海思昇騰的這波操作藏了多少細節(jié)?

    反而壓到了310W。更有意思的是它的異構架構:NPU+CPU+DVPP的組合,居然能同時扛住訓練和推理場景,之前做自動駕駛算法時,用它跑模型時延直接降了20%。 但疑惑也有:這種
    發(fā)表于 10-27 13:12

    與電力的終極博弈,填上了AIDC的“電力黑洞”

    ),專注于提供人工智能訓練與推理所需的服務、數(shù)據(jù)服務和算法服務。AIDC采用異構計算架構,結
    的頭像 發(fā)表于 09-22 02:43 ?8773次閱讀

    杭州靈汐類腦智集群實現(xiàn)大模型快速推理

    據(jù)悉,“杭州靈汐類腦智集群”已于7月底實現(xiàn)了大模型快速推理API的企業(yè)服務試運行。該集群由杭州靈汐類腦科技有限公司牽頭搭建運營,中國電信、中國電子科技南湖研究院以及腦啟社區(qū)作為合作方
    的頭像 發(fā)表于 08-18 16:06 ?1023次閱讀

    超低延時重構AI推理體驗!白山云發(fā)布“大模型API”產(chǎn)品

    優(yōu)勢,打造超低延時、超穩(wěn)定、簡單易用的API接口服務,降低大模型應用成本和開發(fā)門檻,助力企業(yè)和個人用戶快速開啟AI創(chuàng)新之旅。專注邊緣推理,構建“云邊端”
    的頭像 發(fā)表于 07-02 17:26 ?1205次閱讀
    超低延時重構AI<b class='flag-5'>推理</b>體驗!白山云發(fā)布“大<b class='flag-5'>模型</b>API”產(chǎn)品

    芯片的生態(tài)突圍與革命

    據(jù)的爆發(fā)式增長,大芯片已成為科技競爭的核心領域之一。 ? 大芯片的核心應用場景豐富多樣。在人工智能訓練與推理方面,大
    的頭像 發(fā)表于 04-13 00:02 ?3401次閱讀

    智能最具潛力的行業(yè)領域

    ?; 數(shù)據(jù)治理與聯(lián)合創(chuàng)新?:民生銀行與華為、阿里云等共建AI實驗室,通過“數(shù)據(jù)湖+模型體系”提升服務精準度?; 需求驅動?:金融大
    的頭像 發(fā)表于 04-11 08:20 ?1511次閱讀
    智能<b class='flag-5'>算</b><b class='flag-5'>力</b>最具潛力的行業(yè)領域

    RAKsmart服務器如何重塑AI高并發(fā)格局

    在AI大模型參數(shù)量突破萬億級、實時推理需求激增的當下,傳統(tǒng)服務器架構的并發(fā)處理能力已逼近物理極限。RAKsmart通過“硬件重構+軟件定義”的雙引擎
    的頭像 發(fā)表于 04-03 10:37 ?981次閱讀