4月14日,非營利人工智能研究組織Open AI推出神經元可視化庫Microscope,有助于提升AI研究者對神經網絡的理解。
現代神經網絡由成千上萬的神經元組成,神經活動就是神經元間的相互協作過程。解釋神經元間的相互作用一直是AI研究者的一大目標。
Microscope神經元可視化庫基于8個常用或重要的視覺神經網絡,收集了其中每一個重要的層級和神經元,使分析神經網絡的內部特征更加容易。
如同在實驗室中用顯微鏡能更清晰地觀察到細節,它也能使AI研究者更好地理解有成千上萬個神經元的神經網絡的結構和行為。
一、連接8大神經網絡,可視化呈現神經元
8個神經網絡分別是:AlexNet(2012年ImageNet挑戰賽冠軍),AlexNet(Places),Inception v1(又稱GoogleNet,2014年ImageNet挑戰賽冠軍),Inception v1(Places),VGG 19,Inception v3,Inception v4,ResNet v2 50。每個神經網絡中都有許多圖像,在創作共用授權條款下,可以在OpenAI lucid程序庫中重復使用。
Microscope模型把神經網絡層當作“節點(node)”,“節點”通過“邊(edge)”相互連接。每個op包含數百個“單元(unit)”,大致類似于神經元。通過特征可視化、深度夢境、數據集示例、合成調整曲線等技術實現可視化效果。
研究人員稱隨著時間發展,圖像可能會更多。但他們也指出,使用的大多數技術只有在特定情況下才有用。比如,特征可視化只能指向“單元”,但不能指向其“父節點”。
▲神經元視覺化呈現
二、快速反饋,易于理解,能倒推出神經活動
研究人員基于已有的神經網絡,連接所有的神經網絡層和神經元,搭建出了Microscope。
這種方法有幾大優勢:
首先,Microscope將探索神經元的反饋時間從分鐘級縮短為秒級。在發現一些未知特性時,這種快速反饋回路必不可少,比如可以幫助研究人員發現神經活動中的高-低頻探測器。
其次,建立可連接的模型和神經元使研究人員既可以立即進行查閱,也可以進行更長遠的研究。當研究人員在不同機構工作時,也不會對模型和神經元產生混淆。
另外,Microscope具有可訪問性。相比于其他模型,它需要的訪問計算量更少。但是,Microscope仍然需要幾百個GPU小時,研究人員稱希望能保持它的高度可理解性。
根據OpenAI 14日發表的博文,Microscope可以通過理解神經元間的聯系,倒推實現神經元間的協作。
OpenAI認為,Microscope可以為那些有興趣探索神經網絡如何工作的人提供便利,但其更重要的價值在于提供長期的、共享的神經元可視化庫來促進對這些模型的長期研究。
“我們也希望神經科學等相近學科的研究人員能夠從中獲益,可以更容易地理解這些視覺模型的內部工作。”研究人員表示。
結語:神經網絡可視化是熱點,未來或有更多進步
除了Microscope以外,近年來也有其他致力于使機器學習模型的活動可視化的研究。
比如,去年秋天臉書推出了Captum,可以用可視化手段理解機器學習模型所作的決策。2019年3月,OpenAI和谷歌發布了一項使機器學習算法決策可視化的開源技術。后來,谷歌又在2019年10月份發布了TensorBoard.dev,可以使機器學習模型的訓練過程可視化。
通過各家公司的不斷鉆研,神經網絡可視化技術將在未來繼續進步,讓我們拭目以待。
-
神經網絡
+關注
關注
42文章
4838瀏覽量
107859 -
可視化
+關注
關注
1文章
1354瀏覽量
22811 -
神經元
+關注
關注
1文章
369瀏覽量
19175 -
OpenAI
+關注
關注
9文章
1245瀏覽量
10112
發布評論請先 登錄
KubePi:開源Kubernetes可視化管理面板,讓集群管理如此簡單
基于 HT 技術的園區元宇宙可視化管理平臺
神經元設備和腦機接口有何淵源?
工業可視化平臺是什么
脈沖神經元模型的硬件實現
SNN加速器內部神經元數據連接方式
光伏電站可視化的實現
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+神經形態計算、類腦芯片
如何使用協議分析儀進行數據分析與可視化
無刷直流電機單神經元自適應智能控制系統
無刷直流電機單神經元PI控制器的設計
結構可視化:利用數據編輯器剖析數據內在架構?
VirtualLab Fusion應用:3D系統可視化
可視化組態物聯網平臺是什么
Open AI推出神經元可視化庫Microscope
評論