英偉達(dá)公司宣布推出 Llama-3.1-Nemotron-51B AI 模型,這個(gè)AI大模型是源自 Meta 公司的 Llama-3.1-70B大模型,基于使用了神經(jīng)架構(gòu)搜索(NAS)方法,推理速度比原70B大模型提升2.2倍,具備更準(zhǔn)確和更高效的運(yùn)算效率;能夠大幅降低運(yùn)行成本。
通過(guò)NAS技術(shù)微調(diào);大幅降低了內(nèi)存消耗、計(jì)算復(fù)雜性;Llama-3.1-Nemotron-51B AI 模型在單個(gè)H100 GPU上的表現(xiàn)非常優(yōu)秀,在推理過(guò)程中可以在單個(gè) GPU 上運(yùn)行 4 倍以上的工作負(fù)載。這使得單片H100 GPU即可處理更大型的推理任務(wù);這無(wú)疑是顯著的降低了訓(xùn)練成本。這為AI提供了高效、經(jīng)濟(jì)的方案。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4086瀏覽量
99169 -
AI大模型
+關(guān)注
關(guān)注
0文章
398瀏覽量
998
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
利用NVIDIA Nemotron開(kāi)放模型構(gòu)建智能文檔處理系統(tǒng)
基于 NVIDIA Nemotron 開(kāi)放模型的 AI 驅(qū)動(dòng)文檔智能,增強(qiáng)科學(xué)研究、金融和法律等領(lǐng)域工作流。
大模型 ai coding 比較
序
我主要用途是 ai coding,從各種渠道獲取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
發(fā)表于 02-19 13:43
NVIDIA 推出 Nemotron 3 系列開(kāi)放模型
新聞?wù)?● Nemotron 3 系列開(kāi)放模型包含 Nano、Super 和 Ultra 三種規(guī)模,具有極高的效率和領(lǐng)先的精度,適用于代理式 AI 應(yīng)用開(kāi)發(fā)。 ● Nemotron
NVIDIA推動(dòng)面向數(shù)字與物理AI的開(kāi)源模型發(fā)展
NVIDIA 發(fā)布一系列涵蓋語(yǔ)音、安全與輔助駕駛領(lǐng)域的全新 AI 工具,其中包括面向移動(dòng)出行領(lǐng)域的行業(yè)級(jí)開(kāi)源視覺(jué)-語(yǔ)言-動(dòng)作推理模型(Reasoning VLA) NVIDIA DRIVE Alpamayo-R1。此外,一項(xiàng)新的
【CIE全國(guó)RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
/llama-cli --version
第二步:獲取 14B 的 Q2_K 模型
由于官方文檔演示的是 0.6B 小模型,我們需要自己獲
發(fā)表于 11-27 14:43
NVIDIA Nemotron模型如何推動(dòng)AI發(fā)展
Nemotron 開(kāi)源技術(shù)能夠幫助開(kāi)發(fā)者與企業(yè)構(gòu)建強(qiáng)大的通用和專用智能系統(tǒng)。
NVIDIA Nemotron Nano 2推理模型發(fā)布
NVIDIA 正式推出準(zhǔn)確、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2。
英偉達(dá)打響“小模型”第一槍
電子發(fā)燒友網(wǎng)綜合報(bào)道 , 近日,Nvidia 推出了一款新的小型語(yǔ)言模型 Nemotron-Nano-9B-v2,該模型在多項(xiàng)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,且用戶可靈活控制其推理功能的開(kāi)關(guān)。 該模型
發(fā)表于 08-24 01:18
?1384次閱讀
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無(wú)符號(hào) int 的錯(cuò)誤”,怎么解決?
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型:
optimum-cli export openvino -m meta-
發(fā)表于 06-25 07:20
企業(yè)使用NVIDIA NeMo微服務(wù)構(gòu)建AI智能體平臺(tái)
已發(fā)布的 NeMo 微服務(wù)可與合作伙伴平臺(tái)集成,作為創(chuàng)建 AI 智能體的構(gòu)建模塊,使用商業(yè)智能與強(qiáng)大的邏輯推理模型 (包括 NVIDIA Llama
首創(chuàng)開(kāi)源架構(gòu),天璣AI開(kāi)發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
AI的演進(jìn)正在逼近“終端智能涌現(xiàn)”的拐點(diǎn),從通用模型向場(chǎng)景落地遷移成為關(guān)鍵議題。聯(lián)發(fā)科以“AI隨芯,應(yīng)用無(wú)界”為主題召開(kāi)天璣開(kāi)發(fā)者大會(huì)2025(MDDC 2025),不僅聚合了全球生態(tài)資源,還
發(fā)表于 04-13 19:52
英偉達(dá)Cosmos-Reason1 模型深度解讀
英偉達(dá)近期發(fā)布的 Cosmos-Reason1 模型在物理常識(shí)推理領(lǐng)域引發(fā)廣泛關(guān)注。作為專為物理世界交互設(shè)計(jì)的多模態(tài)大語(yǔ)言模型,它通過(guò)融合視
NVIDIA 推出開(kāi)放推理 AI 模型系列,助力開(kāi)發(fā)者和企業(yè)構(gòu)建代理式 AI 平臺(tái)
月 18 日 —— ?NVIDIA 今日發(fā)布具有推理功能的開(kāi)源 Llama Nemotron 模型系列,旨在為開(kāi)發(fā)者和企業(yè)提供業(yè)務(wù)就緒型基礎(chǔ),助力構(gòu)建能夠獨(dú)立工作或以團(tuán)隊(duì)形式完成復(fù)雜
發(fā)表于 03-19 09:31
?390次閱讀
訓(xùn)練好的ai模型導(dǎo)入cubemx不成功怎么處理?
訓(xùn)練好的ai模型導(dǎo)入cubemx不成功咋辦,試了好幾個(gè)模型壓縮了也不行,ram占用過(guò)大,有無(wú)解決方案?
發(fā)表于 03-11 07:18
英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
評(píng)論