GTC 2023直播：英偉達推出Hopper GPU，速度比PCIE快7倍
針對ChatGPT等大型語言模型的推理，我們宣布推出一款新的Hopper GPU配備雙GPU NVLINK的PCIE H100
同時還可支持商用PCIE服務器輕松擴展
目前在云上唯一可以實際處理ChatGPT的GPU是HGX A100與適用于GPT-3處理的HGX A100相比，一臺搭載四對H100及雙GPU NVLINK的標準服務器的速度
H100可將大型語言模型的處理成本，降低一個數量級
Grace Hopper非常適合處理大型數據集，例如適用于推薦系統和大型語言模型的AI數據庫。
如今，利用大容量內存，CPU會存儲和查詢巨型嵌入表，然后將結果傳輸到GPU進行推理，借助Grace-Hopper， Grace可以查詢嵌入表，并將結果直接傳輸到Hopper速度比PCIE快7倍
GTC 2023主題直播地址：https://t.elecfans.com/live/2302.html
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
cpu
+關注
關注
68文章
11279瀏覽量
224993 -
服務器
+關注
關注
14文章
10253瀏覽量
91487 -
gtc
+關注
關注
0文章
74瀏覽量
4764 -
ChatGPT
+關注
關注
31文章
1598瀏覽量
10268
發布評論請先 登錄
相關推薦
熱點推薦
豪言自家芯片比英偉達GPU強10倍，這家AI公司再獲融資
電子發燒友網報道（文 / 吳子鵬）在 AI 算力需求呈指數級增長的今天，英偉達憑借其 GPU 和 CUDA 生態構筑的 “護城河” 似乎堅不可摧。然而，一股由前谷歌 TPU 核心工程師組成
NVIDIA新聞：英偉達10億美元入股諾基亞 英偉達推出全新量子設備
研發并推出相關產品。 英偉達CEO黃仁勛出現在美國華盛頓的GTC DC大會上的演講中表示；“今天我們宣布與諾基亞建立了合作關系，諾基亞是世界第二大電信制造商，這是一個價值3萬億美元的產
今日看點：蘋果認證中國快充品牌遭美調查；英偉達擬向OpenAI投資最高1000億美元
系統建設并部署至少10吉瓦的人工智能（AI）數據中心，用于訓練和運行下一代模型。這一耗電量相當于800萬戶美國家庭的用電量。 英偉達CEO黃仁勛曾表示，10吉瓦相當于400萬至500萬塊圖形處理器（GPU），約等于
發表于 09-23 10:09
?460次閱讀
英偉達最新B30A芯片曝光：算力角逐中的新變數
目前允許在中國銷售的H20型號。這一消息瞬間點燃了行業內外的關注熱情，為本就競爭激烈的AI芯片領域增添了新的變數。 ? 架構升級：站在巨人肩膀上的革新 B30A芯片將基于英偉達去年GTC大會上發布的新一代計算架構——Blackw
傳英偉達自研HBM基礎裸片
"后的下一代AI GPU "Feynman"。 ? 有分析指出，英偉達此舉或是將部分GPU功能集成到基礎裸片中，旨在提高HBM和GPU的整體
aicube的n卡gpu索引該如何添加？
請問有人知道aicube怎樣才能讀取n卡的gpu索引呢，我已經安裝了cuda和cudnn，在全局的py里添加了torch，能夠調用gpu，當還是只能看到默認的gpu0，顯示不了gpu1
發表于 07-25 08:18
英偉達獲美批準恢復H20在華銷售，同步推出全新兼容GPU
7月15日上午，央廣財經記者從英偉達方面確認，英偉達已經獲得美國批準，將恢復 H20 在中國的銷售，并推
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】+NVlink技術從應用到原理
帶來了總雙向帶寬160GB/s的通訊速率，遠高于當時的PCIe接口（實際比現在的PCIe5.0也還要快）。首代的NVlink主要是增強了GPU到GP
發表于 06-18 19:31
英偉達擬再推中國特供GPU，今年6月量產！
電子發燒友網綜合報道 近年來，美國政府對華半導體出口管制政策不斷收緊，英偉達等半導體企業面臨嚴峻挑戰。為保持在中國市場的競爭力，英偉達推出了
發表于 05-27 00:03
?4796次閱讀
GPU 維修干貨 | 英偉達 GPU H100 常見故障有哪些？
上漲，英偉達H100GPU憑借其強大的算力，成為AI訓練、高性能計算領域的核心硬件。然而，隨著使用場景的復雜化，H100服務器故障率也逐漸攀升，輕則影響業務進度，重
立訊技術亮相英偉達GTC 2025大會
日前，英偉達年度技術盛會GTC 2025在美國加州圣何塞拉開帷幕。作為全球AI與計算領域的頂級峰會，GTC 2025匯聚了全球數千名開發者、企業領袖及學術專家，共同探討AI與加速計算的
英偉達GTC25亮點：NVIDIA Blackwell Ultra 開啟 AI 推理新時代
英偉達GTC25亮點：NVIDIA Blackwell Ultra 開啟 AI 推理新時代
新思科技亮相英偉達GTC 2025大會
為了實現這一速度提升，新思科技在GTC全球AI大會上宣布，正在使用英偉達 CUDA-X庫優化其下一代半導體開發解決方案。公司還在擴大對英偉
工商網監
評論