神經網絡在1980年代復興歸功于物理學家約翰·霍普菲爾德（Hopfield）。1982年，霍普菲爾德提出了一種新的神經網絡，可以解決一大類模式識別問題，還可以給出一類組合優化問題的近似解。這種神經網絡模型后被稱為Hopfield神經網絡。

Hopfield神經網絡是一種循環神經網絡［請參見公眾號“科技優化生活”之人工智能（23）］，由約翰·霍普菲爾德發明，他將物理學的相關思想（動力學）引入到神經網絡的構造中，從而形成了Hopfield神經網絡。貝爾實驗室在1987年成功在Hopfield神經網絡的基礎上研制出了神經網絡芯片。

Hopfield神經網絡是一種遞歸神經網絡，從輸出到輸入均有反饋連接，每一個神經元跟所有其他神經元相互連接，又稱為全互聯網絡。

Hopfield神經網絡概述：

Hopfield神經網絡HNN（Hopfiled Neural Network）是一種結合存儲系統和二元系統的神經網絡。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。Hopfield神經網絡也提供了模擬人類記憶的模型。

Hopfield神經網絡是反饋神經網絡，其輸出端又會反饋到其輸入端，在輸入的激勵下，其輸出會產生不斷的狀態變化，這個反饋過程會一直反復進行。假如Hopfield神經網絡是一個收斂的穩定網絡，則這個反饋與迭代的計算過程所產生的變化越來越小，一旦達到了穩定的平衡狀態，Hopfield網絡就會輸出一個穩定的恒值。

對于一個Hopfield神經網絡來說，關鍵在于確定它在穩定條件下的權系數。

Hopfield神經網絡分為兩種：1）離散型Hopfield神經網絡；2）連續型Hopfield神經網絡。

離散型Hopfield神經網絡：

Hopfield最早提出的網絡是二值神經網絡，各神經元的激勵函數為階躍函數或雙極值函數，神經元的輸入、輸出只取{0，1}或者{ -1，1}，所以也稱為離散型Hopfield神經網絡DHNN（Discrete Hopfiled Neural Network）。在DHNN中，所采用的神經元是二值神經元；因此，所輸出的離散值1和0或者1和-1分別表示神經元處于激活狀態和抑制狀態。

離散Hopfield神經網絡DHNN是一個單層網絡，有n個神經元節點，每個神經元的輸出均接到其它神經元的輸入。各節點沒有自反饋。每個節點都可處于一種可能的狀態（1或－1），即當該神經元所受的刺激超過其閥值時，神經元就處于一種狀態（比如1），否則神經元就始終處于另一狀態（比如－1）。

DHNN有兩種工作方式：

1）串行（異步）方式：在時刻t時，只有某一個神經元j的狀態發生變化，而其他n-1個神經元的狀態不變，稱為串行工作方式。并且有：

2）并行（同步）方式：在任一時刻t，所有的神經元的狀態都產生了變化，稱為并行工作方式。并且有：

DHNN穩定性：

假設一個DHNN，其狀態為Y（t）：

如果對于任何Δt》0，當神經網絡從t=0開始，有初始狀態Y（0）。經過有限時刻t，有：

Y（t+Δt）=Y（t）

則認為該DHNN網絡是穩定的，稱其狀態為為穩定狀態。DHNN網絡的穩定狀態X就是網絡的吸引子（attractor），用于存儲記憶信息。串行方式下的穩定性稱為串行穩定性；并行方式下的穩定性稱為并行穩定性。

DHNN是一種多輸入、含有閾值的二值非線性動態系統。在動態系統中，平衡穩定狀態可以理解為系統某種形式的能量函數（energy function）在系統運行過程中，其能量不斷減少，最后處于最小值。

DHNN穩定的充分條件：如果DHNN的權系數矩陣W是一個對稱矩陣，并且對角線元素為0，則這個網絡是穩定的。即在權系數矩陣W中，如果：

則該DHNN是穩定的。

W是一個對稱矩陣僅是充分條件，不是必要條件。

DHNN聯想記憶功能：

DHNN一個重要功能是可以用于聯想記憶，即聯想存儲器，這是人類的智能特點之一。

要實現聯想記憶，DHNN必須具有兩個基本條件：

1） 網絡能收斂到穩定的平衡狀態，并以其作為樣本的記憶信息；

2） 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。

DHNN實現聯想記憶過程分為兩個階段：

1）學習記憶階段： 設計者通過某一設計方法確定一組合適的權值，使DHNN記憶期望的穩定平衡點。

2）聯想回憶階段： DHNN的工作過程。

記憶是分布式的，而聯想是動態的。

對于DHNN，由于網絡狀態是有限的，不可能出現混沌狀態。

DHNN局限性：

1）記憶容量的有限性；

2）偽穩定點的聯想與記憶；

3）當記憶樣本較接近時，網絡不能始終回憶出正確的記憶等；

4）DHNN平衡穩定點不可以任意設置，也沒有一個通用的方式來事先知道平衡穩定點。

連續型Hopfield神經網絡：

連續Hopfield神經網絡CHNN（Continuous Hopfield Neural Network）與DHNN在拓撲結構上是一致的。

CHNN穩定性：

CHNN穩定條件要求：

CHNN與DHNN不同之處在于其函數g不是階躍函數，而是S型的連續函數。一般取：

CHNN在時間上是連續的，所以CHNN網絡中各個神經元是處于同步方式工作的。

當CHNN網絡的神經元傳遞函數g是連續且有界的（如Sigmoid函數），并且CHNN網絡的權值系數矩陣對稱，則這個CHNN網絡是穩定的。

優化問題：

在實際應用中的系統，如果其優化問題可以用能量函數E（t）作為目標函數，那么CHNN網絡和優化問題直接對應。這樣，大量優化問題都可以用CHNN網絡來求解。這也是Hopfield網絡用于神經計算的基本原因。

CHNN與DHNN主要區別：

CHNN與DHNN的主要差別在于：CHNN神經元激活函數使用Sigmoid函數，而DHNN神經元激活函數使用了硬極限函數。

Hopfield神經網絡應用：

Hopfield神經網絡早期應用包括按內容尋址存儲器，模數轉換及優化組合計算等。具有代表意義的是解決TSP問題，1985年Hopfield和Tank用Hopfield網絡求解N=30的TSP問題，從而創建了神經網絡優化的新途徑。除此之外，Hopfield 神經網絡在人工智能之機器學習、聯想記憶、模式識別、優化計算、VLSI和光學設備的并行實現等方面有著廣泛應用。

結語：

Hopfield神經網絡（HNN）是一種具有循環、遞歸特性，結合存儲和二元系統的神經網絡。由約翰·霍普菲爾德在1982年發明。對于一個Hopfield神經網絡來說，關鍵在于確定它在穩定條件下的權系數。Hopfield神經網絡分為離散型和連續型兩種，主要差別在于激活函數的不同。Hopfield神經網絡（HNN）提供了模擬人類記憶的模型。它在人工智能之機器學習、聯想記憶、模式識別、優化計算、VLSI和光學設備的并行實現等方面有著廣泛應用。