(文章來(lái)源:比特網(wǎng))
去年美國(guó)馬薩諸塞州大學(xué)阿默斯特分校的研究人員曾表示,訓(xùn)練一臺(tái)大型AI機(jī)器產(chǎn)生的碳,平均是一個(gè)人終其一生駕駛汽車(chē)制造的排放量5倍。除此之外,還存在很多其他方面的能源消耗。因此AI未來(lái)如何實(shí)現(xiàn)可持續(xù)發(fā)展,仍是亟需解決的問(wèn)題。
近期,在麻省理工一篇最新論文中顯示,其提出了一種比以前更環(huán)保的方式來(lái)訓(xùn)練和運(yùn)行AI模型的系統(tǒng)。論文中顯示,該方案被稱(chēng)為是種“一勞永逸”的網(wǎng)絡(luò),它訓(xùn)練一個(gè)大型模型,該模型由許多不同大小的預(yù)訓(xùn)練子模型組成,這些子模型可以在不需要再訓(xùn)練的情況下針對(duì)一系列平臺(tái)進(jìn)行定制。每個(gè)子模型都可以在推理時(shí)獨(dú)立運(yùn)行而無(wú)需重新訓(xùn)練,系統(tǒng)根據(jù)與目標(biāo)硬件的功率和速度限制相關(guān)的精度和延遲權(quán)衡來(lái)確定最佳子模型。
“漸進(jìn)收縮”算法有效地訓(xùn)練大模型,同時(shí)支持所有子模型。先訓(xùn)練大模型,再利用大模型訓(xùn)練較小的子模型,使其同時(shí)學(xué)習(xí),最后所有子模型都得到了支持。
在實(shí)驗(yàn)中,研究人員發(fā)現(xiàn),用他們的方法訓(xùn)練一個(gè)包含超過(guò)10個(gè)五分之一建筑環(huán)境的計(jì)算機(jī)視覺(jué)模型,最終比花幾個(gè)小時(shí)訓(xùn)練每個(gè)子網(wǎng)絡(luò)要有效得多。此外,它并沒(méi)有影響模型的準(zhǔn)確性或效率——當(dāng)使用通用基準(zhǔn)(ImageNet)進(jìn)行測(cè)試時(shí),該模型在移動(dòng)設(shè)備上達(dá)到了理想準(zhǔn)確性,在推理方面比領(lǐng)先的分類(lèi)系統(tǒng)快1.5到2.6倍。
也許更令人印象深刻的是,研究人員聲稱(chēng),與當(dāng)今流行的模型搜索技術(shù)相比,計(jì)算機(jī)視覺(jué)模型在訓(xùn)練時(shí)需要大約1/1300的碳排放量。IBM研究員、麻省理工學(xué)院沃森人工智能實(shí)驗(yàn)室成員談到這項(xiàng)研究時(shí)表示:“如果人工智能要繼續(xù)快速發(fā)展,我們就需要減少其對(duì)環(huán)境的影響。”
(責(zé)任編輯:fqj)
-
AI
+關(guān)注
關(guān)注
91文章
39793瀏覽量
301414 -
智能技術(shù)
+關(guān)注
關(guān)注
0文章
302瀏覽量
13783
發(fā)布評(píng)論請(qǐng)先 登錄
從機(jī)械狗關(guān)節(jié)拆解看懂激光焊點(diǎn)里的硬核科技
從講義到學(xué)院:錢(qián)學(xué)森1963年的“星際藍(lán)圖”與2026年的現(xiàn)實(shí)回響
研究顯示,若無(wú)前所未有的合作,AI將無(wú)法變革交通領(lǐng)域
東莞理工學(xué)院“小眼睛科技杯”第四屆集成電路設(shè)計(jì)與創(chuàng)新應(yīng)用競(jìng)賽圓滿(mǎn)落幕
格羅方德與新加坡理工學(xué)院簽署諒解備忘錄
蘇黎世聯(lián)邦理工學(xué)院、西南交通大學(xué):關(guān)于研究MXenes-環(huán)境生化傳感平臺(tái)新型材料
【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+內(nèi)容總覽
Wolfspeed與紐約州立大學(xué)理工學(xué)院加強(qiáng)教育研究合作
【萬(wàn)字長(zhǎng)文】物聯(lián)網(wǎng)的激蕩二十年
突破麻省理工學(xué)院技術(shù)壟斷,深圳傳感器公司帶來(lái)全新機(jī)器人觸覺(jué)傳感器技術(shù)
偉創(chuàng)力與麻省理工學(xué)院 (MIT) 就其全新的“新制造倡議”(INM) 達(dá)成戰(zhàn)略合作
麻省理工學(xué)院香港校友會(huì)代表團(tuán)到訪(fǎng)華沿機(jī)器人
美國(guó)加州理工學(xué)院:研究量子傳感技術(shù)可實(shí)現(xiàn)粒子時(shí)空高精度探測(cè)
佐治亞理工學(xué)院:毛囊級(jí)傳感器!研發(fā)可運(yùn)動(dòng)無(wú)感佩戴的AR控制傳感器
麻省理工學(xué)院提出更環(huán)保的AI訓(xùn)練方式,可降低碳排放
評(píng)論