人類需要充足的睡眠才能有最好的狀態，而最新研究發現，人工神經網絡也可能受益于長時間的休息。模擬神經網絡中類似睡眠周期的狀態，可以消除人工模擬大腦中不間斷的自學習帶來的不穩定性。

眾所周知，充足的睡眠可以帶來元氣滿滿的一天，提高工作效率，無論是動物還是人類，都可以得到充足睡眠帶來的好處。

而近日洛斯阿拉莫斯國家實驗室 （Los Alamos National Laboratory） 的一項研究表明，人工計算大腦也可以從睡眠中受益，這種好處與睡眠給人類所帶來的好處類似。

人工計算大腦的靈感來自于人類大腦的神經連接。想象一下，一個由相互連接的節點組成的龐大分層網絡，他們互相通信。一連串的信息波，通過一系列電子發射穿過結構。網絡中的每個節點或 “神經元” 都有自己的數據和信號供應，以便將數據傳輸到下一層節點。

隨著時間的推移，神經網絡調整這些神經元之間獨特的相互作用，以提高其解決問題的能力。神經組合的路線圖會慢慢地微調，直到系統為給定的任務開發出最佳策略。

人造大腦需要睡眠

在這項研究中，洛斯阿拉莫斯國家實驗室的研究人員重點研究了脈沖神經網絡，它的功能不同于標準的人工神經網絡。這些計算系統更接近于人腦的神經回路，神經元在接收到大量輸入信號后產生一個信號。科學家們仍在學習如何訓練脈沖神經網絡，因為這些系統需要與典型的人工神經網絡完全不同的方法。

洛斯阿拉莫斯國家實驗室的計算機科學家 Yijing Watkins 說道：“我們研究的是脈沖神經網絡，該系統能像人類大腦一樣學習。而且我們對神經形態處理器的一種訓練方法有極大的興趣，該方法可以通過模仿人類以及其他生物在童年期從環境中學習的方式來進行訓練。

Watkins 和她的研究小組發現，連續一段時間的無監督學習后，神經網絡模擬變得不穩定。當他們將神經網絡暴露在類似于人類大腦在睡眠時所經歷的波動狀態時，穩定性就恢復了。Watkins 說：“這就好像我們讓人工神經網絡好好睡了一晚一樣。”

這一發現是研究小組在開發神經網絡時發現的，該神經網絡與人類和其他生物系統學習的方式非常接近。一開始，研究小組在進行無監督字典訓練時，很難穩定模擬神經網絡，這涉及到對對象進行分類，而沒有先前的例子來比較它們。

“一般很少會碰到這種讓學習系統更穩定的問題，只有在嘗試使用仿生的脈沖神經形態的處理器，或者試圖理解生物學本身時，才會碰到這種問題。” 洛斯阿拉莫斯的計算機科學家和研究合著者 Garrett Kenyon 說，“絕大多數機器學習、深度學習和人工智能研究人員從來沒有遇到過這個問題，因為在他們研究的人工系統中，他們可以執行全局數學運算，從而調節系統的整體動態增益。”

研究人員認為，將神經網絡暴露在模擬睡眠狀態下的決定，幾乎是穩定網絡的最后一搏。他們對各種類型的噪音進行了實驗，這些噪音大致相當于調諧收音機時可能遇到的電臺間的靜態電音。當他們使用所謂的高斯噪聲波時，得到了最好的結果。

研究小組的下一個目標是在英特爾的 Loihi 神經形態芯片上實現他們的算法。他們希望讓 Loihi 時不時地進入睡覺狀態，使其能夠穩定地實時處理來自硅視網膜攝像頭的信息。如果這些發現證實了人造大腦需要睡眠，我們或許可以期待未來機器人和其他智能機器也會有同樣的情況。

Watkins 團隊在 6 月 14 日的 CVPR 大會上對該項研究做了詳細介紹，文章一經發表，也在 Reddit 網站上引起熱議。

Reddit 熱議：人造大腦真的是在睡覺嗎？

有網友指出，稱人造大腦的穩定狀態類比于睡眠狀態有待商榷，因為如果我們不了解睡眠，我們怎么能說他們相似或不相似？唯一相似的地方，是噪聲和腦波中存在的波形，該波形隨處可見，并非睡眠獨有。

而也有網友表達不同的意見，他認為如果我們把 “睡眠” 概念化為一種恢復退化的認知功能的無反應的恢復過程，那么睡眠對于任何給定的系統都將是一個不同的過程，但最終功能是相同的，本文所描述的過程甚至可能是相符的。

除此外，有網友質疑該研究在很大程度上夸大了人造大腦與睡眠的相似之處，使得它的適用性比現在更加廣泛。

脈沖神經網絡雖然經常被譽為第三代人工神經網絡，但是屬于相當小眾的研究領域。對于傳統的 CNN 來說，這種技術可能并不需要，因為它們在訓練過程中會不斷地進行自我規則化。

也有網友補充知識點，生物神經網絡具有固有的延遲，因為電信號在網絡中傳播需要時間，長時間訓練網絡也非常困難。

信號需要時間流過網絡，如果正在訓練，則需要進行反向傳播來加強連接。如果最短路徑和最長路徑之間的時間差變得太大，則將先處理一條路徑，而另一條路徑仍在傳播。然后當后來的輸入進入時，前一個輸入的潛在處理將破壞新數據，即引起“幻覺”。

這位網友指出，研究人員所做的 “重置” 很可能是發送固定頻率的脈沖，其中或許有一個作用，就是優化由于最近學習而加強的路徑，使路徑之間的時間間隔縮短到某個閾值以下，以防止幻覺的產生。

該網友還建議將生物神經網絡與人工神經網絡完全區別對待。雖然人工神經網絡可能會受到生物學的啟發，但有大量的基本差異使得用一個來描述另一個變得困難。