Adaline神經網絡隨機逼近LMS算法的仿真研究

1 引言
??? 人工神經網絡最重要的功能之一是分類。對于線性可分問題，采用硬限幅函數的單個神經元，通過簡單的學習算法就可成功實現分類。即對于兩個不同類中的輸入矢量，神經元的輸出值為0或1。但對于大多數非線性可分類，硬限幅神經元則無法完成分類功能。自適應線性元件Adaline(Adap-tive LiIlear Element)是一種具有線性功能函數的神繹元，在實際輸出與理想預期值的最小二乘LMS(Least Mean Square)的統計意義下進行學習，可以實現最佳的非線性可分集合的分類，即按照最小二乘的統計意義要求，實際輸出值與理想預期值之間的誤差均方值為最小，能夠實現這一目的算法即稱為最小二乘學習算法或LMS算法。

2 Adaline的LMS算法原理
??? 設輸入矢量X=[x1，x2，…，xn]，加權矢量W=[ω1，ω2，…，ωn]，則神經元的輸出為：

??
??? 定義ε(k)是理想輸出值d(k)與實際輸出值y(k)之間的誤差，即ε(k)=d(k)-y(k)，其均方值記作E[ε2(k)]，令ζ(k)=E[ε2(k)]，則：
??
??? 由式(2)可知必定存在最佳的加權矢量W*，使ζ(k)達到最小，此時ζ(k)相對于W的梯度等于零，從而可以得到：

??
??? 式(3)雖然給出了求最佳加權矢量的方法，但需要大量的統計計算，而且當輸入矢量X的維數很大時，需要解決高階矩陣求逆問題，這些在數學計算上都是非常閑難的。

3 隨機逼近LMS學習算法的提出
??? 為了解決式(3)存在的問題，有學者提出LMS學習問題的嚴格遞推算法和隨機逼近算法，這里簡要描述其算法原理。LMS學習問題的嚴格遞推算法是在任意設置初始加權矢量W(0)時，對于每一個時序變量k，對W調整：

??
??? 用這種方法可以保證求得嚴格的最佳解，而且避開矩陣求逆。但學習過程的每一步仍需大量的統計計算，仍需解決統計計算困難。

?? LMS學習問題的隨機逼近算法則將權值調整公式修正為下列形式：

??
??? 該方法與前一算法區別在于：用ε(k)X(k)代替E[ε(k)X(k)]，從而避免統計計算的困難，但同時使加權矢量的變化趨向隨機性；步幅α變成一個隨時序k變化的量，可以證明，當α(k)滿足以下條件時，學習是收斂的：α(k)是時序k∞ ∞
的非增函數；在這樣k=0 k=0的條件下，W(k)隨著k增大而趨向W*的概率為1。

4 隨機逼近LMS算法仿真
??? 按以下步驟對隨機逼近算法編制程序進行仿真：
??? (1)對圖1所示的正弦波和三角波分別進行64點均勻采樣，組成64維輸入樣本矢量。

??? (2)W(0)選擇服從(0，1)之間均勻分布的隨機矢量，初始步長參數α選為0．03，選定誤差的平方臨界值ε02(k)=10-5，將X0，X1交替重復地送入采用線性函數的神經元，反復訓練，直至ε2(k)≤ε02(k)，這樣可以得到誤差平方和學習次數之間的關系，如圖2所示。
??? 從圖2中可以看出．當α=0．03時，學習是收斂的，學習次數k=1 147，學習完成時ε(k)=3．2x10-3，其平方小于所確定的ε02(k)。把X0，X1重新送入神經元，計算后得到實際輸出值Y0=0．003 9，Y1=0．999 9，這和預期輸出值相當接近，從而較好完成了X0，X1的分類。
??? (3)設置不同的步幅α，分別計算并繪制ε2(k)變化曲線，觀察ε2(k)的收斂性、收斂速度與α的關系，試驗結果如圖3所示。從圖3中可以看出，當α 很小時，學習收斂，學習速度很慢，且收斂的穩定性較好；當α增大，學習仍保持收斂，但學習速度加快，同時穩定性降低；當α=0．08時，學習已不再收斂。

??? (4)仿真正確性和抗噪性。產生一系列加噪的正弦波和三角波作為輸入矢量，所疊加的噪聲服從正態分布N(0，σ2)。規定Pn為正確識別X0的概率，P1 為正確識別X1的概率，ERR為輸出錯誤的個數(總樣本：1 000)，通過檢測可得表1。由表1可看出，當噪聲的方差σ2較小時，使用隨機逼近算法的Adaline神經元幾乎可以無誤地識別輸入矢量；但當噪聲方差逐步加大時，錯判的概率也隨之加大。而在學習收斂的條件下，步幅α對神經元輸出的正確性幾乎沒有影響。圖4是總樣本為200時，固定α=0．03．當α2 =3x10-3時的分類結果示意圖。

5 仿真結果和分析
??? 首先對兩種波形進行64點采樣，再利用隨機逼近算法對兩種波形進行分類，這也相當于一個64 維空間中兩個點的分類問題。仿真結果表明：對于不同的初始步幅α，神經元完成學習任務的訓練時間不同；在保證學習收斂性的前提下，α越大，收斂速度越快，但收斂的穩定性變差。權矢量的初始值W(0)對學習的收斂性沒有影響。最后，對神經元的學習結果進行檢驗，檢驗結果驗證了經學習訓練后，神經元分類的正確性及抗噪性。從網絡的原理可看出，在隨機逼近算法中，若α(k)是時序k的非增函數，且有

??? 學習是收斂的。但本仿真中均采用恒定步幅值α，這樣只有在α的值比較小的情況下，才能保證學習收斂。為了改進算法，可采用時變的步幅α(k)=1/pk+q，則既滿足步幅因子收斂的條件，又保證步幅因子在學習開始時較大，而隨著學習的進行逐漸減小。