電子發燒友網報道(文/吳子鵬)日前,彭博社發文稱,為減少對英偉達芯片的依賴,亞馬遜已經秘密啟動了“登月”(moonshot)的計劃,目前正在其位于得克薩斯州奧斯汀的工程實驗室加緊研發一款新的AI芯片:Trainium2,目標是在亞馬遜自己的數據中心里部署10萬顆Trainium2,以提高數據處理效率并降低AI芯片采購成本。
近幾年,亞馬遜一直都在致力于自研芯片以降低數據中心成本,根據云成本管理和優化平臺Vantage此前的一項調查數據,在Amazon EC2 M7系列通用實例的成本支出方面,采用Amazon Graviton的M7g系列已經超過三分之一(34.5%)。
亞馬遜自研芯片第一次亮相始于2016年,在當年的re:Invent大會上,亞馬遜云傳奇工程師James Hamilton展示了該公司第一顆自研芯片,這便是第一代Graviton芯片。和英特爾、AMD的芯片不同,第一代Graviton芯片便是基于Arm架構的Neoverse內核打造,可以支持2x25G以太網的數據包處理。隨后,亞馬遜在2019年推出了Graviton2、2021年推出了Graviton3、2023年推出了Graviton4。
作為最新版本的Graviton芯片,Graviton4采用了最先進的Arm架構 Neoverse V2 核心,具有更高的計算核心數量和更快的內存帶寬。7月15日,亞馬遜發布了基于自研芯片Graviton4的Amazon EC2 R8g實例。根據phoronix測試的結果,和上一代芯片Graviton3相比,Graviton4性能提升達30%以上,內核數增加50%,內存帶寬增加75%。
同時,根據測試結果,Graviton4處理器的性能略優于英特爾至強處理器約5%,但AMD的EPYC處理器在整體性能上仍領先約25%。有評測報告認為,Graviton4搭載的Neoverse-V2內核與英特爾Sapphire Rapids內核在性能上旗鼓相當,在某些工作負載下甚至優于AMD第四代EPYC。
Graviton4處理器發布于2023年11月28日,與其同時發布的還有升級款處理器Trainium2。AWS首席執行官Adam Selipsky在re:Invent主題演講中透露,亞馬遜已經購買了數百萬個英偉達的A100和H100產品,在此方面投入了巨大的成本。而業界人士預測,Trainium2是一顆有望正面和英偉達H100芯片競爭的AI芯片。
Trainium2是多年磨一劍的產品,據悉在亞馬遜2015年收購Annapurna Labs之后,這個項目就在秘密研發。根據亞馬遜方面的數據,Trainium2相較于上一代產品,訓練速度提升多達4倍,能效提升多達2倍,內存容量則達此前3倍,能在EC2 UltraClusters中擴展至多達10萬個芯片,可以在極短的時間內訓練基礎模型和大語言模型。目前,該芯片已經在接受包括Anthropic、Databricks、Stockmark三家AI創企以及德國電信、日本理光在內的多個客戶的測試。
同時,亞馬遜方面表示,Trainium2芯片已在數據中心部署,預計將在俄亥俄州等多個核心數據中心推廣,目標是形成多達100000個芯片的集群。而這正是亞馬遜秘密計劃——“登月”計劃的一部分。按照規劃,Trainium2芯片先期主要承擔亞馬遜內部的AI訓練項目,并在初創企業客戶方面得到測試,隨著項目成熟將陸續有大客戶導入到基于Trainium2芯片的算力平臺上,一旦大客戶有項目使用,亞馬遜Trainium2芯片的任務便被視為取得成功。
不過,業內人士認為,亞馬遜Trainium2芯片也面臨諸多方面的挑戰,其中最顯著的兩大挑戰是自研芯片本身和軟件生態。在自研芯片方面,由于英偉達在通用計算GPU領域已經積累了深厚的研發經驗,單芯片的優化已經接近了極限,要想實現超越,尤其是在核心指標PPA方面實現超越,可能需要更加前沿的工藝平臺進行芯片實現,或者在芯片設計過程中導入工程設計的“know how”,但無論怎樣的技術路徑,背后面臨的挑戰都是巨大的,且可能會由于先期用量低而導致高昂的成本,再加上本就客觀存在的研發成本,這對公司內部推進自研芯片的決心會有挑戰。
在軟件方面的挑戰就更大了,目前全球主要的GPGPU基本是依存于英偉達的CUDA生態生存,如果不兼容基本很難部署落地,這就導致英偉達在軟硬件結合方面具有巨大的先發優勢。重新部署軟件生態當然也是有效的途徑,一旦成功會獲得巨大的商業回報。但分析人士認為,目前亞馬遜提供的Neural SDK軟件工具尚處于初期階段,無法與英偉達的解決方案相匹敵。
近幾年,亞馬遜一直都在致力于自研芯片以降低數據中心成本,根據云成本管理和優化平臺Vantage此前的一項調查數據,在Amazon EC2 M7系列通用實例的成本支出方面,采用Amazon Graviton的M7g系列已經超過三分之一(34.5%)。
亞馬遜自研芯片第一次亮相始于2016年,在當年的re:Invent大會上,亞馬遜云傳奇工程師James Hamilton展示了該公司第一顆自研芯片,這便是第一代Graviton芯片。和英特爾、AMD的芯片不同,第一代Graviton芯片便是基于Arm架構的Neoverse內核打造,可以支持2x25G以太網的數據包處理。隨后,亞馬遜在2019年推出了Graviton2、2021年推出了Graviton3、2023年推出了Graviton4。
作為最新版本的Graviton芯片,Graviton4采用了最先進的Arm架構 Neoverse V2 核心,具有更高的計算核心數量和更快的內存帶寬。7月15日,亞馬遜發布了基于自研芯片Graviton4的Amazon EC2 R8g實例。根據phoronix測試的結果,和上一代芯片Graviton3相比,Graviton4性能提升達30%以上,內核數增加50%,內存帶寬增加75%。
同時,根據測試結果,Graviton4處理器的性能略優于英特爾至強處理器約5%,但AMD的EPYC處理器在整體性能上仍領先約25%。有評測報告認為,Graviton4搭載的Neoverse-V2內核與英特爾Sapphire Rapids內核在性能上旗鼓相當,在某些工作負載下甚至優于AMD第四代EPYC。
Graviton4處理器發布于2023年11月28日,與其同時發布的還有升級款處理器Trainium2。AWS首席執行官Adam Selipsky在re:Invent主題演講中透露,亞馬遜已經購買了數百萬個英偉達的A100和H100產品,在此方面投入了巨大的成本。而業界人士預測,Trainium2是一顆有望正面和英偉達H100芯片競爭的AI芯片。
Trainium2是多年磨一劍的產品,據悉在亞馬遜2015年收購Annapurna Labs之后,這個項目就在秘密研發。根據亞馬遜方面的數據,Trainium2相較于上一代產品,訓練速度提升多達4倍,能效提升多達2倍,內存容量則達此前3倍,能在EC2 UltraClusters中擴展至多達10萬個芯片,可以在極短的時間內訓練基礎模型和大語言模型。目前,該芯片已經在接受包括Anthropic、Databricks、Stockmark三家AI創企以及德國電信、日本理光在內的多個客戶的測試。
同時,亞馬遜方面表示,Trainium2芯片已在數據中心部署,預計將在俄亥俄州等多個核心數據中心推廣,目標是形成多達100000個芯片的集群。而這正是亞馬遜秘密計劃——“登月”計劃的一部分。按照規劃,Trainium2芯片先期主要承擔亞馬遜內部的AI訓練項目,并在初創企業客戶方面得到測試,隨著項目成熟將陸續有大客戶導入到基于Trainium2芯片的算力平臺上,一旦大客戶有項目使用,亞馬遜Trainium2芯片的任務便被視為取得成功。
不過,業內人士認為,亞馬遜Trainium2芯片也面臨諸多方面的挑戰,其中最顯著的兩大挑戰是自研芯片本身和軟件生態。在自研芯片方面,由于英偉達在通用計算GPU領域已經積累了深厚的研發經驗,單芯片的優化已經接近了極限,要想實現超越,尤其是在核心指標PPA方面實現超越,可能需要更加前沿的工藝平臺進行芯片實現,或者在芯片設計過程中導入工程設計的“know how”,但無論怎樣的技術路徑,背后面臨的挑戰都是巨大的,且可能會由于先期用量低而導致高昂的成本,再加上本就客觀存在的研發成本,這對公司內部推進自研芯片的決心會有挑戰。
在軟件方面的挑戰就更大了,目前全球主要的GPGPU基本是依存于英偉達的CUDA生態生存,如果不兼容基本很難部署落地,這就導致英偉達在軟硬件結合方面具有巨大的先發優勢。重新部署軟件生態當然也是有效的途徑,一旦成功會獲得巨大的商業回報。但分析人士認為,目前亞馬遜提供的Neural SDK軟件工具尚處于初期階段,無法與英偉達的解決方案相匹敵。
結語
就像人類登月一樣,亞馬遜Trainium2芯片的野心是巨大的,一旦成功帶來的商業回報也是非常可觀的。但登月本就兇險萬分,Trainium2芯片離成功替代英偉達H100還有很長很長的路要走。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
亞馬遜
+關注
關注
8文章
2729瀏覽量
85674 -
AI芯片
+關注
關注
17文章
2121瀏覽量
36710 -
登月
+關注
關注
0文章
5瀏覽量
2003
發布評論請先 登錄
相關推薦
熱點推薦
AI芯片大單!Anthropic從博通采購100萬顆TPU v7p芯片
電子發燒友網報道(文/李彎彎)近日消息,AI企業Anthropic將直接從博通采購近100萬顆TPU v7?pIronwood AI芯片,本
亞馬遜發布新一代AI芯片Trainium3,性能提升4倍
Trainium 4的開發計劃。亞馬遜表示,這款芯片能夠比英偉達市場領先的圖形處理單元(GPU)更便宜、更高效地驅動AI模型背后的密集計算。 ? ? 作為
寶馬自研AI智能體平臺“蓋亞”正式投入運行
近日,寶馬自研AI智能體平臺“蓋亞”(GAIA,Group Artificial Intelligence Assistant)正式投入運行。作為國內首批自主研發并部署企業級
AI業界新聞:OpenAI官宣自研首顆芯片 黃仁勛時隔9年再次給馬斯克“送貨”
給大家帶來一些AI業界新聞: OpenAI官宣自研首顆芯片 OpenAI宣布與博通合作自
亞馬遜云科技在中國區域推出Amazon Graviton4實例 以自研芯片驅動企業算力升級
北京2025年9月10日 /美通社/ -- 亞馬遜云科技宣布,通過與光環新網和西云數據的緊密合作,在亞馬遜云科技(北京)區域和亞馬遜云科技(寧夏)區域推出基于新一代
OpenAI將與博通合作量產自研AI芯片 博通第四財季AI芯片收入展望超預期
據外媒《金融時報》的報道稱 OpenAI 將與博通公司開啟大規模的合作,希望能夠借住博通推動OpenAI?自研 AI 芯片的量產落地。 據稱,OpenAI 的首款
江波龍自研UFS4.1主控芯片,順序讀取速率高達4350MB/s,性能對標主流產品
電子發燒友網報道(文/黃晶晶)近年來,江波龍自研主控芯片取得較大的進展。截止至2025年7月底,江波龍主控芯片全系列產品累計實現超過8000萬
集創北方聯合發布首顆自研RRAM AMOLED顯示驅動芯片
近日,集創北方攜手清華大學集成電路學院團隊與新憶科技共同推出首顆采用自研RRAM新型存儲技術的AMOLED顯示驅動芯片(DDIC)“集憶智顯”系列首款
Arm CEO:公司正在自研芯片
據外媒路透社報道,Arm CEO Rene Haas透露,Arm正在投資開發自有芯片,并計劃將部分利潤投資于制造自己的芯片和其他組件。與之對應的是Arm預測的下一財季經營業績也會因為自
今日看點丨蔚來自研全球首顆車規5nm芯片!;沃爾沃中國區啟動裁員計劃
1. 蔚來自研全球首顆車規5nm 芯片!將對全行業開放 ? 據了解,李斌在直播中介紹了蔚來自研神璣NX9031芯片,他表示:“這是全球首
發表于 07-08 10:50
?2089次閱讀
又一顆國產GPU芯片成功點亮!6nm制程,自研TrueGPU架構
電子發燒友網綜合報道 近日消息,礪算科技宣布其首顆自研架構全自主知識產權GPU芯片在封裝回片后已成功點亮,結果符合預期。 ? 礪算科技成立于2021年,是一家致力于研發高性能GPU的公
發表于 05-29 00:48
?2690次閱讀
今日看點丨小鵬自研芯片或5月上車;安森美將在重組期間裁員2400人
車型,該車將是搭載自研芯片的首款車型,內部代號或為“F57”。 ? 去年8月27日,小鵬汽車召開發布會,正式發布了其自研
發表于 02-26 10:55
?471次閱讀
亞馬遜啟動“登月”計劃,目標部署10萬顆自研AI芯片
評論