国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

生成式AI的I/O瓶頸,或許可以用光子IC來突破

E4Life ? 來源:電子發(fā)燒友網(wǎng) ? 作者:周凱揚 ? 2023-10-13 00:02 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道(文/周凱揚)從回答問題對話到寫文章,ChatGPT這類應(yīng)用已經(jīng)幫我們展示了生成式AI帶來的第一波震撼,從OpenAI的路線也可以看出,他們已經(jīng)在努力把處理對象從單純的文字,轉(zhuǎn)換成圖片、音頻乃至視頻了。但這也意味著待處理的數(shù)據(jù)大小以數(shù)量級提升,畢竟再長的文本和視頻文件大小比起來還是相去甚遠。

I/O瓶頸

要想進一步提升生成式AI的處理性能,我們就不得不看下背后為其提供動力的基礎(chǔ)設(shè)備,也就是GPU、AI加速器、高帶寬內(nèi)存和光模塊。AI模型發(fā)展的早期,只需單個GPU甚至是CPU就能處理簡單的AI模型,而如今這些先進的AI模型,沒有大型機柜組成的服務(wù)器和成千上萬個GPU,是很難運行起來的。

比如特斯拉老版的自動駕駛訓(xùn)練超算,就是由720個節(jié)點的8x英偉達A100 GPU構(gòu)成的,算力高達1.8 EFLOPS。小鵬于去年建成的智算中心扶搖算力規(guī)模高達600PFLOPS,預(yù)計也用到了上千塊GPU。

盡管部署大量GPU是擴展算力的最直接途徑,但與此同時傳統(tǒng)的互聯(lián)方案還是創(chuàng)造了巨大的I/O瓶頸,嚴重影響了GPU的性能利用率,導(dǎo)致更多的時間花在了等待數(shù)據(jù)而不是處理數(shù)據(jù)上。

為此,常用的方案變成了添加更多的GPU來彌補性能和計算效率上的損失,可這樣的趨勢已經(jīng)在逐漸被淘汰,因為從減少碳足跡的角度來看,全球范圍內(nèi)各個國家都在開始考慮減少數(shù)據(jù)中心的能源損耗了。

光子IC

除此之外,另一解決方案就是利用光模塊來解決速度慢的節(jié)點間電氣連接,然而光模塊成本較高、密度較低,所以需要更高速、端到端又能降低成本互聯(lián)方案,即芯片到芯片之間的光學(xué)I/O。

利用更高帶寬的光學(xué)連接取代諸多并行和高速串行I/O通道,這一愿景促使了行業(yè)對近封裝光學(xué)和共封裝光學(xué)的追求。相較外部可插拔的管模塊,光子IC可將光學(xué)I/O集成到GPU封裝內(nèi)部,用來與其他的GPU節(jié)點進行直接通信,進一步提高了AI算力的擴展效率,滿足了當下持續(xù)增長的AI需求。

近期,Sivers Semiconductors就在歐洲光通信展覽會上展出了他們打造的八波長分布式反饋(DFB)激光器陣列,該陣列集成在了Ayar Labs的SuperNova多波長光源中,支持GPU之間最高4TB/s的數(shù)據(jù)傳輸。根據(jù)Ayar Labs提供的數(shù)據(jù),新的光源配合它們的TeraPHY封裝內(nèi)光學(xué)I/O Chiplet,還提供了低上10倍的延遲和8倍的傳輸能效。

這樣的表現(xiàn)無疑極大地提升GPU的性能利用效率,解決當下生成式AI在I/O性能瓶頸上的燃眉之急。盡管光子計算芯片目前尚不能替代傳統(tǒng)的電子半導(dǎo)體器件,但從解決帶寬和延遲需求上已經(jīng)有了長足的進步。

寫在最后

面對生成式AI模型大小的指數(shù)級上漲,以及逐漸龐大起來的推理數(shù)據(jù)量,傳統(tǒng)的I/O性能必然會面臨淘汰,而光子IC為高性能的AI芯片提供了一條更快更高效的通路。不過仍然需要注意的是,光子IC與傳統(tǒng)IC還有設(shè)計與制造上的區(qū)別,比如需要特定的設(shè)計工具以及工藝等。因此要想發(fā)展光子IC跟上這一波趨勢,就必須從EDA和晶圓代工廠開始抓起。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • IC
    IC
    +關(guān)注

    關(guān)注

    36

    文章

    6411

    瀏覽量

    185634
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    友思特方案 | 突破 Jetson平臺的接口性能瓶頸,Gidel 基于FPGA的高速邊緣AI視覺系統(tǒng)

    友思特合作伙伴Gidel FantoVision?成功突破 Jetson I/O 性能瓶頸,助力開發(fā)者毫無妥協(xié)地將像素數(shù)據(jù)轉(zhuǎn)化為智能算力,實現(xiàn)邊緣視覺
    的頭像 發(fā)表于 01-13 10:22 ?1640次閱讀
    友思特方案 | <b class='flag-5'>突破</b> Jetson平臺的接口性能<b class='flag-5'>瓶頸</b>,Gidel 基于FPGA的高速邊緣<b class='flag-5'>AI</b>視覺系統(tǒng)

    陀螺形體材料,突破光子芯片瓶頸

    電子發(fā)燒友網(wǎng)綜合報道 在人工智能、物聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)驅(qū)動下,全球數(shù)據(jù)量正以指數(shù)級速度增長。傳統(tǒng)電子芯片受限于電子傳輸?shù)奈锢?b class='flag-5'>瓶頸,已難以滿足未來計算對速度與能效的嚴苛需求。在此背景下,以光子為信息載體
    的頭像 發(fā)表于 11-23 07:14 ?1w次閱讀
    陀螺形體材料,<b class='flag-5'>突破</b><b class='flag-5'>光子</b>芯片<b class='flag-5'>瓶頸</b>

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的科學(xué)應(yīng)用

    是一種快速反應(yīng)能力,是直接的感知;靈感是一種通過思考和探索獲得的創(chuàng)造性想法,是一種創(chuàng)意。 AI怎么模擬直覺與靈感呢?四、AI代替人類的假說 這可能嗎? 用機器來生成假說: 1、直接生成
    發(fā)表于 09-17 11:45

    智能體化AI生成AI的區(qū)別

    生成 AI 的核心是“生成內(nèi)容” —— 比如用大模型寫報告,是對輸入指令的被動響應(yīng)。而智能體化 AI(Agentic
    的頭像 發(fā)表于 08-25 17:24 ?1637次閱讀

    從材料到集成:光子芯片技術(shù)創(chuàng)新,突破算力瓶頸

    電子發(fā)燒友網(wǎng)報道(文/李彎彎)在全球科技競爭的浪潮中,光子芯片作為突破電子芯片性能瓶頸的核心技術(shù),正逐漸成為各方矚目的焦點。它以光波作為信息載體,通過集成激光器、調(diào)制器、探測器等光電器件,實現(xiàn)了低
    的頭像 發(fā)表于 08-21 09:15 ?8883次閱讀

    生成 AI 重塑自動駕駛仿真:4D 場景生成技術(shù)的突破與實踐

    生成AI驅(qū)動的4D場景技術(shù)正解決傳統(tǒng)方法效率低、覆蓋不足等痛點,如何通過NeRF、3D高斯?jié)姙R等技術(shù)實現(xiàn)高保真動態(tài)建模?高效生成極端天氣等長尾場景?本文為您系統(tǒng)梳理
    的頭像 發(fā)表于 08-06 11:20 ?5152次閱讀
    <b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> 重塑自動駕駛仿真:4D 場景<b class='flag-5'>生成</b>技術(shù)的<b class='flag-5'>突破</b>與實踐

    SAP生成AI助手Joule是什么?從虛擬同事到智能團隊全面提升企業(yè)生產(chǎn)力!

    SAP Joule 作為前沿生成 AI 助手,化身企業(yè)「數(shù)字員工」,以自動化流程處理、智能決策支持打破業(yè)務(wù)增長瓶頸
    的頭像 發(fā)表于 06-27 17:45 ?790次閱讀
    SAP<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>助手Joule是什么?從虛擬同事到智能團隊全面提升企業(yè)生產(chǎn)力!

    谷歌新一代生成AI媒體模型登陸Vertex AI平臺

    我們在 Vertex AI 上推出新一代生成 AI 媒體模型: Imagen 4、Veo 3 和 Lyria 2。
    的頭像 發(fā)表于 06-18 09:56 ?1095次閱讀

    使用NVIDIA Earth-2生成AI基礎(chǔ)模型革新氣候建模

    NVIDIA 正通過 cBottle(Climate in a Bottle 的簡稱)為這項工作帶來新的突破,這是全球首個專為以公里尺度分辨率模擬全球氣候而設(shè)計的生成 AI 基礎(chǔ)模型
    的頭像 發(fā)表于 06-12 15:54 ?1307次閱讀

    MAX7325 I2C端口擴展器,提供8路推挽I/O和8個漏極開路I/O技術(shù)手冊

    MAX7325 2線串行接口外設(shè)具有16路I/O端口。其中8路為推挽輸出,另外8路為I/O端口,帶有可選擇的內(nèi)部上拉和瞬態(tài)檢測功能。8路I/
    的頭像 發(fā)表于 05-22 15:27 ?983次閱讀
    MAX7325 <b class='flag-5'>I</b>2C端口擴展器,提供8路推挽<b class='flag-5'>式</b><b class='flag-5'>I</b>/<b class='flag-5'>O</b>和8個漏極開路<b class='flag-5'>I</b>/<b class='flag-5'>O</b>技術(shù)手冊

    ADP5588移動I/O擴展器和QWERTY鍵盤控制器技術(shù)手冊

    ADP5588是一款I/O端口擴展器和鍵盤矩陣,適用于需要大型鍵盤矩陣和擴展I/O線路的QWERTY型電話。I/
    的頭像 發(fā)表于 05-22 11:37 ?1006次閱讀
    ADP5588移動<b class='flag-5'>I</b>/<b class='flag-5'>O</b>擴展器和QWERTY鍵盤控制器技術(shù)手冊

    ADP5589鍵盤解碼器和I/O擴展器技術(shù)手冊

    ADP5589是一款19通道GPIO(通用輸入/輸出)端口擴展器,內(nèi)置鍵盤矩陣解碼器、可編程邏輯、復(fù)位邏輯和PWM發(fā)生器。該IC支持QWERTY鍵盤和GPIO擴展。I/O擴展器IC適用
    的頭像 發(fā)表于 05-22 09:35 ?979次閱讀
    ADP5589鍵盤解碼器和<b class='flag-5'>I</b>/<b class='flag-5'>O</b>擴展器技術(shù)手冊

    ADP5585鍵盤解碼器和I/O擴展器技術(shù)手冊

    ADP5585是一款10I/O端口擴展器,內(nèi)置鍵盤矩陣解碼器、可編程邏輯、復(fù)位發(fā)生器和PWM發(fā)生器。I/O擴展器IC適用于便攜
    的頭像 發(fā)表于 05-22 09:21 ?1025次閱讀
    ADP5585鍵盤解碼器和<b class='flag-5'>I</b>/<b class='flag-5'>O</b>擴展器技術(shù)手冊

    光子 AI 處理器的核心原理及突破性進展

    光子 AI 處理器依靠光信號的傳輸、調(diào)制及檢測完成計算任務(wù),因其具備高速、低功耗、高帶寬等突出優(yōu)勢,被視作突破現(xiàn)有計算瓶頸的關(guān)鍵技術(shù)之一
    的頭像 發(fā)表于 04-19 00:40 ?4165次閱讀

    2025設(shè)備管理新范式:生成AI在故障知識庫中的創(chuàng)新應(yīng)用

    生成 AI 提供了全新的解決方案,引領(lǐng)設(shè)備管理進入“健康治理”新紀元。傳統(tǒng)設(shè)備管理深陷知識困局,知識沉淀遭遇“三重斷點”,而生成
    的頭像 發(fā)表于 03-31 10:44 ?1301次閱讀
    2025設(shè)備管理新范式:<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>在故障知識庫中的創(chuàng)新應(yīng)用