斯坦福大學(xué)研究人員已經(jīng)證明,在光學(xué)芯片上直接訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)是可能的。這一重大突破表明,光學(xué)電路可以執(zhí)行基于電子技術(shù)的人工神經(jīng)網(wǎng)絡(luò)的關(guān)鍵功能,并且可以更便宜、更快和更節(jié)能的方式來執(zhí)行諸如語音或圖像識(shí)別等復(fù)雜任務(wù)。
研究人員已經(jīng)證明,神經(jīng)網(wǎng)絡(luò)可以使用光學(xué)電路(圖中的藍(lán)色矩形)進(jìn)行訓(xùn)練。在整個(gè)網(wǎng)絡(luò)中,會(huì)有幾個(gè)連接在一起。激光輸入(綠色)信息,通過光學(xué)(黑色)芯片。該芯片使用非均勻波束執(zhí)行對(duì)人工神經(jīng)網(wǎng)絡(luò)至關(guān)重要的操作,它是由曲線段表示的。這些部分將兩個(gè)相鄰的部分連接在一起,并通過調(diào)整光學(xué)相位(紅色和藍(lán)色物體)的設(shè)置來調(diào)諧,它們的作用就像可以在訓(xùn)練期間調(diào)整以執(zhí)行給定任務(wù)的“轉(zhuǎn)軌”。這一研究結(jié)果由斯坦福大學(xué)研究組的Tyler W. Hughes所證明。
“使用光學(xué)芯片比數(shù)字計(jì)算機(jī)更有效地執(zhí)行神經(jīng)網(wǎng)絡(luò),可以解決更復(fù)雜的問題?!彼固垢4髮W(xué)研究小組的Shanhui Fan說?!袄?,這將增強(qiáng)人工神經(jīng)網(wǎng)絡(luò)執(zhí)行自動(dòng)駕駛汽車所需任務(wù)的能力,或者對(duì)口頭問題作出適當(dāng)?shù)姆磻?yīng)。它還能以我們現(xiàn)在無法想象的方式改善我們的生活?!?/div>
人工神經(jīng)網(wǎng)絡(luò)是一種人工智能,它使用連接的單元以類似于大腦處理信息的方式處理信息。使用這些網(wǎng)絡(luò)來執(zhí)行一個(gè)復(fù)雜的任務(wù),例如語音識(shí)別,需要對(duì)算法進(jìn)行關(guān)鍵步驟的訓(xùn)練,以適應(yīng)不同的輸入,如不同的單詞。
盡管光學(xué)人工神經(jīng)網(wǎng)絡(luò)最近被實(shí)驗(yàn)證明,但訓(xùn)練步驟是在傳統(tǒng)的數(shù)字計(jì)算機(jī)上使用一個(gè)模型進(jìn)行的,然后將最后的設(shè)置輸入到光學(xué)電路中。在光學(xué)學(xué)會(huì)的擁有很高影響力的研究雜志上,斯坦福大學(xué)報(bào)告了一種直接在設(shè)備中訓(xùn)練這些網(wǎng)絡(luò)的方法,這種方法是通過實(shí)現(xiàn)“光學(xué)模擬”算法來實(shí)現(xiàn)的,這是訓(xùn)練常規(guī)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)方法。
“使用物理設(shè)備而不是計(jì)算機(jī)模型進(jìn)行訓(xùn)練可以使訓(xùn)練過程更加精確?!盚ughes說。“此外,由于訓(xùn)練步驟是神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程中非常昂貴的部分,因此執(zhí)行這一步驟對(duì)于提高人工網(wǎng)絡(luò)的計(jì)算效率、速度和功耗至關(guān)重要。”
基于光的網(wǎng)絡(luò)
雖然神經(jīng)網(wǎng)絡(luò)處理通常使用傳統(tǒng)計(jì)算機(jī)執(zhí)行,但仍有大量工作要設(shè)計(jì)專門為神經(jīng)網(wǎng)絡(luò)計(jì)算而優(yōu)化的硬件。基于光學(xué)的設(shè)備有很大的興趣,因?yàn)樗鼈兛梢圆⑿袌?zhí)行,同時(shí)使用比電子設(shè)備更少的能量。
在這項(xiàng)新的工作中,研究人員通過設(shè)計(jì)一種傳統(tǒng)計(jì)算機(jī)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法設(shè)計(jì)了一種光學(xué)芯片,這對(duì)實(shí)現(xiàn)全光神經(jīng)網(wǎng)絡(luò)提出了重大挑戰(zhàn)。
一個(gè)人工神經(jīng)網(wǎng)絡(luò)可以被認(rèn)為是一個(gè)黑匣子,有大量的人工神經(jīng)網(wǎng)絡(luò)。在訓(xùn)練過程中,每個(gè)訓(xùn)練單元都會(huì)有一些變化,然后對(duì)系統(tǒng)進(jìn)行測(cè)試,看看算法的性能是否有所提高。
“我們的方法不僅可以幫助你預(yù)測(cè)轉(zhuǎn)向哪個(gè)方向,而且還可以幫助你預(yù)測(cè)你應(yīng)該把每一種方法都轉(zhuǎn)化成更接近預(yù)期的性能?!盚ughes說?!拔覀兊姆椒ù蟠蠹涌炝擞?xùn)練的速度,特別是對(duì)于大型網(wǎng)絡(luò),因?yàn)槲覀儾⑿械孬@得了關(guān)于每種方法的信息。”
片上訓(xùn)練
新的訓(xùn)練協(xié)議工作在光路上,通過改變光學(xué)相位的設(shè)置來調(diào)整光路。將待處理的激光束編碼信息發(fā)射到光路中,通過光束進(jìn)行光路傳輸,并對(duì)其進(jìn)行調(diào)整,以訓(xùn)練神經(jīng)網(wǎng)絡(luò)算法。
在新的訓(xùn)練協(xié)議中,激光器首先通過光路輸入。在設(shè)備上,計(jì)算與預(yù)期結(jié)果的差異。然后,該信息被用來產(chǎn)生一個(gè)新的光信號(hào),該光信號(hào)通過光網(wǎng)絡(luò)以相反的方向發(fā)送回來。在這個(gè)過程中,研究人員通過測(cè)量每個(gè)光束周圍的光強(qiáng)度,展示了如何并行地檢測(cè)神經(jīng)網(wǎng)絡(luò)性能將如何隨著光束的設(shè)置而變化。根據(jù)這些信息可以改變相位設(shè)置,并且過程可以重復(fù),直到神經(jīng)網(wǎng)絡(luò)產(chǎn)生期望的結(jié)果。
研究人員通過教授一種執(zhí)行復(fù)雜功能的算法,例如在一組點(diǎn)內(nèi)提取復(fù)雜的特征,用光學(xué)模擬測(cè)試了他們的訓(xùn)練技術(shù)。他們發(fā)現(xiàn),光學(xué)實(shí)現(xiàn)功能與傳統(tǒng)計(jì)算機(jī)相似。
“我們的工作證明,你可以利用物理定律來實(shí)現(xiàn)計(jì)算機(jī)科學(xué)算法,”Fan說?!巴ㄟ^在光領(lǐng)域?qū)@些網(wǎng)絡(luò)進(jìn)行訓(xùn)練,它表明光神經(jīng)網(wǎng)絡(luò)系統(tǒng)可以單獨(dú)使用光學(xué)來實(shí)現(xiàn)某些更高的性能?!?/div>
目前,研究人員正計(jì)劃進(jìn)一步優(yōu)化該系統(tǒng),并希望利用它實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)任務(wù)的實(shí)際應(yīng)用。他們?cè)O(shè)計(jì)的一般方法可用于各種神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)和其他應(yīng)用,如光學(xué)。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
人工神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
1文章
120瀏覽量
15126 -
光學(xué)芯片
+關(guān)注
關(guān)注
0文章
17瀏覽量
4749
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
神經(jīng)網(wǎng)絡(luò)的初步認(rèn)識(shí)
日常生活中的智能應(yīng)用都離不開深度學(xué)習(xí),而深度學(xué)習(xí)則依賴于神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)。什么是神經(jīng)網(wǎng)絡(luò)?神經(jīng)網(wǎng)絡(luò)的核心思想是模仿生物神經(jīng)系統(tǒng)的結(jié)構(gòu),特別是大腦中神經(jīng)
CNN卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)原理及在MCU200T上仿真測(cè)試
數(shù)的提出很大程度的解決了BP算法在優(yōu)化深層神經(jīng)網(wǎng)絡(luò)時(shí)的梯度耗散問題。當(dāng)x>0 時(shí),梯度恒為1,無梯度耗散問題,收斂快;當(dāng)x<0 時(shí),該層的輸出為0。
CNN
發(fā)表于 10-29 07:49
NMSIS神經(jīng)網(wǎng)絡(luò)庫使用介紹
()
riscv_fully_connected_q7()
在NS上跑時(shí)和arm的神經(jīng)網(wǎng)絡(luò)庫一致,可在github上下載CMSIS的庫,然后加入到自己庫所在的路徑下即可。
發(fā)表于 10-29 06:08
在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的一些經(jīng)驗(yàn)
本帖欲分享在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的一些經(jīng)驗(yàn)。我們采用jupyter notebook作為開發(fā)IDE,以TensorFlow2為訓(xùn)練框架,目標(biāo)是
發(fā)表于 10-22 07:03
中國芯片研制獲重大突破 全球首款亞埃米級(jí)快照光譜成像芯片
“玉衡”,相關(guān)研究成果發(fā)表在《自然》。這是我國在智能光子領(lǐng)域的重大突破,標(biāo)志著我國智能光子技術(shù)在高精度成像測(cè)量領(lǐng)域邁上新臺(tái)階。 此外我們還看
液態(tài)神經(jīng)網(wǎng)絡(luò)(LNN):時(shí)間連續(xù)性與動(dòng)態(tài)適應(yīng)性的神經(jīng)網(wǎng)絡(luò)
1.算法簡介液態(tài)神經(jīng)網(wǎng)絡(luò)(LiquidNeuralNetworks,LNN)是一種新型的神經(jīng)網(wǎng)絡(luò)架構(gòu),其設(shè)計(jì)理念借鑒自生物神經(jīng)系統(tǒng),特別是秀麗隱桿線蟲的神經(jīng)結(jié)構(gòu),盡管這種微生物的
【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+神經(jīng)形態(tài)計(jì)算、類腦芯片
AI芯片不僅包括深度學(xué)細(xì)AI加速器,還有另外一個(gè)主要列別:類腦芯片。類腦芯片是模擬人腦神經(jīng)網(wǎng)絡(luò)架構(gòu)的芯片。它結(jié)合微電子技術(shù)和新型
發(fā)表于 09-17 16:43
神經(jīng)網(wǎng)絡(luò)的并行計(jì)算與加速技術(shù)
隨著人工智能技術(shù)的飛速發(fā)展,神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域展現(xiàn)出了巨大的潛力和廣泛的應(yīng)用前景。然而,神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度和規(guī)模也在不斷增加,這使得傳統(tǒng)的
無刷電機(jī)小波神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)子位置檢測(cè)方法的研究
摘要:論文通過對(duì)無刷電機(jī)數(shù)學(xué)模型的推導(dǎo),得出轉(zhuǎn)角:與三相相電壓之間存在映射關(guān)系,因此構(gòu)建了一個(gè)以三相相電壓為輸人,轉(zhuǎn)角為輸出的小波神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)轉(zhuǎn)角預(yù)測(cè),并采用改進(jìn)遺傳算法來訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù),借助
發(fā)表于 06-25 13:06
神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)在電機(jī)故障診斷中的應(yīng)用
的診斷誤差。仿真結(jié)果驗(yàn)證了該算法的有效性。
純分享帖,需要者可點(diǎn)擊附件免費(fèi)獲取完整資料~~~*附件:神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)在電機(jī)故障診斷中的應(yīng)用.pdf【免責(zé)聲明】本文系網(wǎng)絡(luò)轉(zhuǎn)載,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版
發(fā)表于 06-16 22:09
神經(jīng)網(wǎng)絡(luò)RAS在異步電機(jī)轉(zhuǎn)速估計(jì)中的仿真研究
,在一定程度上擴(kuò)展了轉(zhuǎn)速估計(jì)范圍。
純分享帖,需要者可點(diǎn)擊附件免費(fèi)獲取完整資料~~~*附件:神經(jīng)網(wǎng)絡(luò)RAS在異步電機(jī)轉(zhuǎn)速估計(jì)中的仿真研究.pdf【免責(zé)聲明】本文系網(wǎng)絡(luò)轉(zhuǎn)載,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)
發(fā)表于 06-16 21:54
基于FPGA搭建神經(jīng)網(wǎng)絡(luò)的步驟解析
本文的目的是在一個(gè)神經(jīng)網(wǎng)絡(luò)已經(jīng)通過python或者M(jìn)ATLAB訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型,將訓(xùn)練好的模型的權(quán)重和偏置文件以TXT文件格式導(dǎo)出,然后
NVIDIA實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)渲染技術(shù)的突破性增強(qiáng)功能
近日,NVIDIA 宣布了 NVIDIA RTX 神經(jīng)網(wǎng)絡(luò)渲染技術(shù)的突破性增強(qiáng)功能。NVIDIA 與微軟合作,將在 4 月的 Microsoft DirectX 預(yù)覽版中增加神經(jīng)網(wǎng)絡(luò)著色技術(shù),讓開
【「芯片通識(shí)課:一本書讀懂芯片技術(shù)」閱讀體驗(yàn)】從deepseek看今天芯片發(fā)展
的:
神經(jīng)網(wǎng)絡(luò)處理器(NPU)是一種模仿人腦神經(jīng)網(wǎng)絡(luò)的電路系統(tǒng),是實(shí)現(xiàn)人工智能中神經(jīng)網(wǎng)絡(luò)計(jì)算的專用處理器,主要用于人工智能深度學(xué)習(xí)模型的加速
發(fā)表于 04-02 17:25
神經(jīng)網(wǎng)絡(luò)壓縮框架 (NNCF) 中的過濾器修剪統(tǒng)計(jì)數(shù)據(jù)怎么查看?
無法觀察神經(jīng)網(wǎng)絡(luò)壓縮框架 (NNCF) 中的過濾器修剪統(tǒng)計(jì)數(shù)據(jù)
發(fā)表于 03-06 07:10
重大突破!在光學(xué)芯片上直接訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)
評(píng)論