在計算機科學中，沒有一門學科比深度學習更能從人類的記憶系統中受益。

自早期以來，在深度學習領域，人們就一直致力于對模擬人類記憶的一些關鍵特征系統進行建模。然而，想要為機器系統建立起類人的記憶結構，并非易事。

近日，區塊鏈分析公司IntoTheBlock CEO、Invector Labs首席科學家、哥倫比亞大學客座教授Jesus Rpdriguez發表文章，談論從神經科學和認知心理學的角度理解機器的記憶建模。

他認為，神經科學的記憶理論為我們理解智能存儲體系結構的一些主要組成部分提供了基礎，同時，人類的記憶不僅僅是大腦物理結構的副產品，而且還深受周圍環境的影響。

關記憶的神經科學理論：綁定問題

現代神經科學的記憶理論涉及大腦的三個基本區域：丘腦（the thalamus）、前額葉（the prefrontal）、皮層和海馬體（cortex ＆the hippocampus）。

丘腦可以被認為是一個路由器，它負責處理感官信息（視覺、觸覺、語言等），并將其傳遞到大腦的感覺皮層進行評估。經過評估的信息最終到達前額葉皮層，進入我們的意識中，形成短期記憶。同時，這些信息也被傳送到海馬體，海馬體將不同的片段分布到不同的皮質中，形成長期記憶。

而當今神經科學面臨的最大挑戰之一就是，我們如何將分散的記憶碎片重新組合起來，使其在人們回憶時構成連貫的記憶。這就是“綁定問題（the binding problem）”的主要內容。

假設您曾經歷一場考試，那么關于這一事件的記憶將被分解并儲存在大腦的不同區域中。然而，只需要小小的提示，例如聽到考試提示音或見到當時的同伴，您就能回憶起關于這堂考試的各種記憶。

這是如何做到的呢？

一種理論認為，記憶碎片是由不斷流過大腦的電磁振動聯系在一起的。這些振動在記憶碎片之間創造了一個時間（而非空間）聯系，允許它們同時被激活，因而最后成為凝聚一體的記憶。

關記憶的認知心理學理論：啟動與聯想

此外，為了解釋綁定問題，我們還需要一些超越大腦的結構，以評估能夠影響記憶方式的各種心理背景因素。在認知心理學中，試圖解釋聯想記憶本質的主要理論之一被稱為啟動效應（the Priming Effect）。

設想一下，當您聽到“考試”這個詞的時候，首先想到的是什么？可能是“書籍”，可能是某個日期，甚至可能是“興奮感”（手動狗頭）。由此可見，僅僅是一個簡單的詞語，就可以喚起人的一系列復雜情緒甚至是其他相關的詞語。而這個過程實際就是：我們正在有效地想起相關的事物，或者說，我們正在“啟動”其他記憶。

這一實驗中最引人注目的其實是，人們根據提示檢索出相關單詞或記憶的速度有多快。在心理學中，這種現象也被稱為聯想一致化（Associatively Coherent）。

而且，啟動效應不僅適用于詞匯，還適用于情緒、身體反應、本能等認知現象。啟動效應告訴我們，記憶不僅是由主動聯想方法來回憶的，而且是由“被啟動的想法”來回憶的。

認知心理學的另一個重要內容則是我們回憶起特定事件的頻率。

例如，如果我問你“在過去的十年里參加了多少場考試？” 如果你剛好最近就參加過一次考試或者特別快地得出答案者，那么這個數字很能被高估。相反，如果你并不喜歡上一次的考試經歷，那么這個數字可能被低估。這個認知過程被稱為可得性捷思法（the Availability Heuristic），它解釋了我們的記憶是如何被快速獲得的答案所深深影響。

深度學習的記憶機制：神經圖靈機

那么深度學習算法具體該如何模仿上述這些理論從而形成類人記憶呢？答案其實不難得出：

a） 把一個內存分成若干段，不同片段描述不同的知識領域

b） 將分散的片段重新組合成連貫的信息結構

c） 根據上下文和不直接相關的信息以及外部數據引用來檢索數據

同時，為了了解深度學習算法中的記憶相關性，我們應該區分內隱記憶implicit memory和外顯記憶Explicit Memory。隱性知識通常是潛意識的，因此很難解釋，例如識別圖片中的猴子或口語句子中的語氣和情緒。顯性知識則很容易以陳述性方式建模。例如，“猴子是一種動物”或“某些形容詞具有攻擊性”，這都是顯性知識的典型例子。

再想象一下傳統的神經網絡結構，它們往往有數百萬個相互連接的節點，卻缺乏一個工作記憶系統，用來存儲已推斷出的知識片段及其相互關系，以便從網絡的不同層加入新信息。

而在這一領域，最流行的技術之一是神經圖靈機（Neural Turing Machines，NTM），由DeepMind于2014年引入。NTM也屬于深層神經網絡， 但是它擴展出一個具有存儲完整向量的記憶單元，并使用直觀推斷（heuristics）來讀寫信息。

例如，NTM實現了一種稱為基于內容的尋址機制，它可以根據輸入信息來檢索向量，這與人類基于文字經驗來回憶相關記憶的方式相似。

此外，NTM還包括一種機制，能夠根據內存單元被尋址的頻率來增加其顯著性。

NTM并不是在深度學習系統中實現記憶能力的唯一技術，但它無疑是最受歡迎的技術之一。

模仿人類記憶的生理和心理功能并不是一件容易的事，這已經成為深度學習領域中最重要的研究領域之一。
責編AJX