受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)，研制出一種具有豐富動(dòng)態(tài)特性的人工樹突器件，構(gòu)建了包含突觸、樹突、胞體三種基本計(jì)算單元的新型神經(jīng)網(wǎng)絡(luò)，樹突功能顯著提升了網(wǎng)絡(luò)的準(zhǔn)確率，同時(shí)大幅降低了系統(tǒng)的功耗，增強(qiáng)了網(wǎng)絡(luò)處理復(fù)雜任務(wù)的能力。

包含樹突計(jì)算的新型人工神經(jīng)網(wǎng)絡(luò)示意圖

生物神經(jīng)網(wǎng)絡(luò)由突觸和神經(jīng)元組成，而神經(jīng)元又包含樹突、胞體等基本結(jié)構(gòu)，其中樹突具有非常復(fù)雜的拓?fù)浣Y(jié)構(gòu)和動(dòng)態(tài)過程。許多生物神經(jīng)系統(tǒng)的研究表明樹突具有十分重要的非線性時(shí)空信息處理功能，它是大腦能夠在處理復(fù)雜任務(wù)的同時(shí)保持低功耗的重要原因之一。當(dāng)前的人工神經(jīng)網(wǎng)絡(luò)大多將神經(jīng)元用簡(jiǎn)單的點(diǎn)模型表示，將其計(jì)算功能簡(jiǎn)化成積分-發(fā)放（integrate-and-fire），而忽略了樹突的信息處理功能。這樣的簡(jiǎn)化使得人工神經(jīng)網(wǎng)絡(luò)在功耗、靈活性上與生物神經(jīng)網(wǎng)絡(luò)相比仍存在很大的差距。

清華大學(xué)微電子所、未來芯片技術(shù)高精尖創(chuàng)新中心錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)，聯(lián)合清華大學(xué)醫(yī)學(xué)院及腦與智能實(shí)驗(yàn)室宋森研究員、美國(guó)麻省大學(xué)楊建華教授、阿里巴巴達(dá)摩院謝源教授、加州大學(xué)圣芭芭拉分校鄧?yán)诓┦浚贜ature Nanotechnology上發(fā)表題為“Power-Efficient Neural Network with Artificial Dendrites”的研究論文，報(bào)道了基于動(dòng)態(tài)憶阻器的人工樹突器件，成功復(fù)現(xiàn)了生物樹突對(duì)信號(hào)的非線性過濾、積分以及對(duì)時(shí)間信號(hào)的處理方式。

為了驗(yàn)證人工樹突的計(jì)算功能，研究團(tuán)隊(duì)將所開發(fā)的人工樹突器件與導(dǎo)電細(xì)絲型突觸器件、Mott相變型胞體器件進(jìn)行系統(tǒng)集成，構(gòu)建了包含突觸、樹突、胞體三種基本計(jì)算單元的新型神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果顯示，由于樹突功能的引入，該網(wǎng)絡(luò)在處理具有復(fù)雜背景噪聲的街景門牌號(hào)（SVHN）數(shù)據(jù)集時(shí)，胞體的動(dòng)態(tài)功耗降低30倍，網(wǎng)絡(luò)的準(zhǔn)確率提高8%以上，系統(tǒng)評(píng)估整體功耗比CPU降低3個(gè)數(shù)量級(jí)。來自清華大學(xué)微電子所的吳華強(qiáng)教授是該論文的通訊作者，李辛毅博士、唐建石助理教授和張清天博士是共同第一作者。

近年來，錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)長(zhǎng)期致力于基于憶阻器的存算一體芯片技術(shù)研究，從器件性能優(yōu)化、工藝集成、電路設(shè)計(jì)及架構(gòu)與算法等多層次實(shí)現(xiàn)創(chuàng)新突破，相關(guān)研究成果發(fā)表于Nature、Nature electronics、Nature Communications、Advanced Materials等頂級(jí)期刊和ISSCC、IEDM、VLSI等領(lǐng)域內(nèi)頂級(jí)國(guó)際學(xué)術(shù)會(huì)議上。

受生物啟發(fā)制備的新原理樹突器件，復(fù)現(xiàn)了生物樹突對(duì)信號(hào)的非線性過濾、積分等功能

集成了突觸、樹突、胞體三種計(jì)算單元的新型人工神經(jīng)網(wǎng)絡(luò)，在SVHN數(shù)據(jù)集上驗(yàn)證了功耗和準(zhǔn)確率上的顯著優(yōu)勢(shì)

該工作的主要?jiǎng)?chuàng)新之處包括：

開發(fā)出了與CMOS工藝兼容的樹突器件，其豐富的動(dòng)態(tài)特性復(fù)現(xiàn)了生物樹突單元的非線性過濾、積分以及對(duì)時(shí)間信息處理等功能。

將所制備的人工樹突器件和基于導(dǎo)電細(xì)絲的突觸器件、基于Mott相變的胞體器件進(jìn)行集成，首次在硬件系統(tǒng)上構(gòu)建了包含突觸、樹突、胞體三種基本計(jì)算單元的新型人工神經(jīng)網(wǎng)絡(luò)。

在包含復(fù)雜背景噪聲的街景門牌號(hào)數(shù)據(jù)集（SVHN dataset）上，對(duì)包含樹突計(jì)算的人工神經(jīng)網(wǎng)絡(luò)功能進(jìn)行了驗(yàn)證。樹突功能的引入將胞體的動(dòng)態(tài)功耗降低30倍，同時(shí)將網(wǎng)絡(luò)準(zhǔn)確率提高了8%以上，系統(tǒng)評(píng)估整體能耗比CPU降低3個(gè)數(shù)量級(jí)。

該研究基于新原理憶阻器的豐富動(dòng)態(tài)過程開發(fā)了神經(jīng)形態(tài)樹突器件，并進(jìn)一步驗(yàn)證了新型人工神經(jīng)網(wǎng)絡(luò)的功能。未來通過器件、算法、電路、架構(gòu)的協(xié)同創(chuàng)新與優(yōu)化，有望進(jìn)一步提高包含樹突計(jì)算的人工神經(jīng)網(wǎng)絡(luò)處理復(fù)雜時(shí)空任務(wù)的能力，構(gòu)建更加智能化的低功耗神經(jīng)網(wǎng)絡(luò)。

該研究工作得到了國(guó)家自然科學(xué)基金委、國(guó)家重點(diǎn)研發(fā)計(jì)劃、北京市科委、北京信息科學(xué)與技術(shù)國(guó)家研究中心等支持。
責(zé)任編輯:pj