無論是設(shè)計微芯片還是構(gòu)建新的蛋白質(zhì)，神經(jīng)網(wǎng)絡(luò)似乎可以做任何事情。然而，令人不快的是，這些由大腦啟發(fā)的人工智能（AI）系統(tǒng)以神秘的方式工作，這引發(fā)了人們的擔(dān)憂，即他們所做的事情也可能毫無意義。

一項新的研究表明，已有200年歷史的數(shù)學(xué)方法或有助于揭示神經(jīng)網(wǎng)絡(luò)如何執(zhí)行諸如預(yù)測氣候或模擬湍流等復(fù)雜任務(wù)。研究人員表示，這反過來有助于提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和學(xué)習(xí)速度。

在人工神經(jīng)網(wǎng)絡(luò)中，被稱為神經(jīng)元的部件（類似于人腦中的神經(jīng)元，因為它們是其系統(tǒng)的基本部件）通過數(shù)據(jù)和協(xié)作以解決問題，例如識別人臉。如果神經(jīng)網(wǎng)絡(luò)擁有多層神經(jīng)元，則稱之為“深層”。

長期以來，神經(jīng)網(wǎng)絡(luò)得出結(jié)論的方式一直被認(rèn)為是一個神秘的黑匣子，也就是說，網(wǎng)絡(luò)無法解釋它是如何得出結(jié)論的。休斯頓萊斯大學(xué)流體動力學(xué)專家、研究高級作者Pedram Hassanzadeh表示，盡管研究人員已經(jīng)開發(fā)出了檢查神經(jīng)網(wǎng)絡(luò)內(nèi)部工作的方法，但在涉及許多科學(xué)和工程應(yīng)用的網(wǎng)絡(luò)時，這些方法往往收效甚微。

為了分析設(shè)計用于物理的神經(jīng)網(wǎng)絡(luò)，Hassanzadeh和他的同事們嘗試使用物理中常用的數(shù)學(xué)技術(shù)。該方法被稱為傅里葉分析（Fourier analysi），用于識別數(shù)據(jù)在空間和時間上的規(guī)則模式。

在這項新的研究中，研究人員對一個深度神經(jīng)網(wǎng)絡(luò)進(jìn)行了實驗，該網(wǎng)絡(luò)經(jīng)過訓(xùn)練，可以分析大氣中的空氣或海洋中的水中出現(xiàn)的復(fù)雜湍流，并預(yù)測這些湍流隨時間的變化。Hassanzadeh說，更好地理解神經(jīng)網(wǎng)絡(luò)為分析這些復(fù)雜系統(tǒng)而學(xué)習(xí)的概念，有助于建立更精確的模型，而訓(xùn)練所需的數(shù)據(jù)更少。

科學(xué)家們對深度神經(jīng)網(wǎng)絡(luò)的控制方程進(jìn)行了傅里葉分析。每個模型大約有100萬個參數(shù)，神經(jīng)元之間的連接就像乘數(shù)，在計算過程中調(diào)整這些方程中的特定運算。這些參數(shù)被分為40000個五乘五矩陣，稱為內(nèi)核。

未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的參數(shù)通常具有隨機值。在訓(xùn)練過程中，隨著神經(jīng)網(wǎng)絡(luò)逐漸學(xué)會計算越來越接近訓(xùn)練案例中已知結(jié)果的解，神經(jīng)網(wǎng)絡(luò)的參數(shù)會被修改和磨練。然后，研究人員可以使用經(jīng)過充分訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來分析以前從未見過的數(shù)據(jù)。

自大約200年前傅里葉分析首次出現(xiàn)以來，研究人員還開發(fā)了其他工具來分析數(shù)據(jù)中的模式，例如篩選背景噪聲的低通濾波器、幫助分析背景信號的高通濾波器，以及圖像處理中經(jīng)常使用的Gabor濾波器。

Hassanzadeh說：“多年來，我們聽說神經(jīng)網(wǎng)絡(luò)是黑匣子，有太多的參數(shù)需要理解和分析。當(dāng)然，當(dāng)我們只是查看其中的一些參數(shù)時，它們沒有太多意義，而且看起來都不一樣。” 然而，在對所有這些核進(jìn)行傅立葉分析后，他說，“我們意識到它們是這些光譜濾波器?！?/p>

多年來，科學(xué)家們一直試圖用該技術(shù)來分析氣候和湍流。然而，這些組合在對復(fù)雜系統(tǒng)進(jìn)行建模時往往并不成功。Hassanzadeh說，神經(jīng)網(wǎng)絡(luò)學(xué)會了正確組合這些濾波器的方法。

Hassanzadeh解釋道：“許多氣候科學(xué)家和機器學(xué)習(xí)科學(xué)家小組正在美國和世界各地合作開發(fā)神經(jīng)網(wǎng)絡(luò)增強氣候模型，即混合模型，使用傳統(tǒng)的偏微分方程求解器和神經(jīng)網(wǎng)絡(luò)一起進(jìn)行更快、更好的氣候預(yù)測。” 他補充道，傅里葉分析可以幫助科學(xué)家為這些目標(biāo)設(shè)計更好的神經(jīng)網(wǎng)絡(luò)，并幫助他們更好地理解氣候和湍流的基本物理情況。

Hassanzadeh說，除了氣候和湍流模型，傅里葉分析可能有助于研究神經(jīng)網(wǎng)絡(luò)，這些神經(jīng)網(wǎng)絡(luò)被設(shè)計用于分析廣泛的其他復(fù)雜系統(tǒng)。這些包括“噴氣發(fā)動機內(nèi)的燃燒、風(fēng)電場內(nèi)的氣流、許多物質(zhì)、木星和其他行星的大氣層、等離子體、太陽和地球內(nèi)部的對流等等”。Hassanzadeh說，研究人員開發(fā)了一個通用框架，以幫助將這種方法應(yīng)用于“任何物理系統(tǒng)和任何神經(jīng)網(wǎng)絡(luò)架構(gòu)”。

此外，這種方法可能有助于分析“用于圖像分類或神經(jīng)科學(xué)的神經(jīng)網(wǎng)絡(luò)”，Hassanzadeh補充道。然而，他表示，“我們的工作在多大程度上揭開了這些領(lǐng)域的情況，仍有待研究?！?/p>

當(dāng)涉及神經(jīng)網(wǎng)絡(luò)時，一個主要的問題是它們的可推廣性如何，它們是否能夠分析不同于它們所訓(xùn)練的系統(tǒng)。用于幫助神經(jīng)網(wǎng)絡(luò)從一個系統(tǒng)外推到另一個系統(tǒng)的一種方法被稱為轉(zhuǎn)移學(xué)習(xí)。這種方法專注于重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)中的少量關(guān)鍵神經(jīng)元，以幫助其分析其他系統(tǒng)。這些新發(fā)現(xiàn)可能會確定最佳的神經(jīng)元進(jìn)行再訓(xùn)練。

Hassanzadeh說，特別是，轉(zhuǎn)移學(xué)習(xí)中的傳統(tǒng)智慧是，最好對最接近模型產(chǎn)生的輸出的最深層的神經(jīng)元進(jìn)行再訓(xùn)練。然而，這項新研究表明，當(dāng)涉及跨時間和空間數(shù)據(jù)模式的復(fù)雜系統(tǒng)時，他表示，重新訓(xùn)練最淺的層靠近模型接收的輸入可能會得到更好的性能，而重新訓(xùn)練最深的層可能會被證明完全無效。

Hassanzadeh說，未來，研究人員的目標(biāo)是確定神經(jīng)網(wǎng)絡(luò)如何學(xué)習(xí)組合濾波器以達(dá)到最佳結(jié)果。1月23日，他和他的同事在PNAS Nexus雜志上詳細(xì)介紹了他們的發(fā)現(xiàn)，https://academic.oup.com/pnasnexus/article/2/3/pgad015/6998042。

審核編輯 ：李倩