Pybrain號稱最好用的Python神經網絡庫。其實Scikit-Learn號稱Python上最好用的機器學習庫，但是它偏偏就沒有神經網絡這塊，所以就與我無緣了。

之前也看過一些提到Neurolab這個庫的，打算之后嘗試一下（好像支持的神經網絡不太一樣）。

Pybrain的文檔傳說中寫得不錯，但是我需要的例子它并沒有。官方文檔給的例子是用于分類的，而不是數據擬合（預測，或者叫做回歸問題）。

另外，官方文檔的函數（方法）說明并不全，有一些需要自己通過help函數在python shell里調用，或者直接閱讀源代碼。

好了言歸正傳。大概分為以下這幾步。
. 構造神經網絡
. 構造數據集
. 訓練神經網絡
. 結果可視化
. 驗證與分析

構造神經網絡

可以采用快速建立神經網絡的模式，也可以自己設定神經網絡。這里采用第二種做法，建立的是前饋神經網絡。
from pybrain.structure import *
# 建立神經網絡fnn
fnn = FeedForwardNetwork()

# 設立三層，一層輸入層（3個神經元，別名為inLayer），一層隱藏層，一層輸出層
inLayer = LinearLayer(3,)
hiddenLayer = SigmoidLayer(7,)
outLayer = LinearLayer(1,)

# 將三層都加入神經網絡（即加入神經元）
fnn.addInputModule(inLayer)
fnn.addModule(hiddenLayer)
fnn.addOutputModule(outLayer)

# 建立三層之間的連接
in_to_hidden = FullConnection(inLayer, hiddenLayer)
hidden_to_out = FullConnection(hiddenLayer, outLayer)

# 將連接加入神經網絡
fnn.addConnection(in_to_hidden)
fnn.addConnection(hidden_to_out)

# 讓神經網絡可用
fnn.sortModules()

構造數據集

在構造數據集的時候，我用的是SupervisedDataset，即監督數據集。也可以試一試別的。
from pybrain.supervised.trainers import BackpropTrainer

# 定義數據集的格式是三維輸入，一維輸出
DS = SupervisedDataSet(3,1)

# 往數據集內加樣本點
# 假設x1，x2，x3是輸入的三個維度向量，y是輸出向量，并且它們的長度相同
for i in len(y):
DS.addSample([x1[i], x2[i], x3[i]], [y[i]])

# 如果要獲得里面的輸入／輸出時，可以用
X = DS['input']
Y = DS['target']

# 如果要把數據集切分成訓練集和測試集，可以用下面的語句，訓練集：測試集＝8:2
# 為了方便之后的調用，可以把輸入和輸出拎出來
dataTrain, dataTest = DS.splitWithProportion(0.8)
xTrain, yTrain = dataTrain['input'], dataTrain['target']
xTest, yTest = dataTest['input'], dataTest['target']

構造數據集部分就這樣告一段落了。

訓練神經網絡

俗話說得好，80%的工作往往是20%的部分完成的。嗯哼，其實最重要的代碼就是如下這幾行啦。
不過調用的是別人的東西，也不知道內部的實現比例，就是開個玩笑。
from pybrain.supervised.trainers import BackpropTrainer

# 訓練器采用BP算法
# verbose = True即訓練時會把Total error打印出來，庫里默認訓練集和驗證集的比例為4:1，可以在括號里更改
trainer = BackpropTrainer(fnn, dataTrain, verbose = True, learningrate=0.01)

# maxEpochs即你需要的最大收斂迭代次數，這里采用的方法是訓練至收斂，我一般設為1000
trainer.trainUntilConvergence(maxEpochs=1000)

結果可視化

數據可視化就不提了，基本上用的是Pylab來進行數據可視化，具體可見這篇博文：
Python的一些畫圖函數?。

驗證與分析

首先，我們可以挑一個隨機數據來看看結果。
import random

# c為從0到xTest的長度（包括0，不包括長度）之間的隨機值
c = random.randint(0, xTest.shape[0])

# X2為xTest的一個隨機樣本點
X2 = xTest[c,:]

# activate函數即神經網絡訓練后，預測的X2的輸出值
prediction = fnn.activate(X2)

# 可以將其打印出來
print('true number is: ' + str(yTest[c]),
'prediction number is:' + str(prediction),
'error:' + str((prediction-yTest[c])/yTest[c]))

我們可以把神經網絡打印出來，此處的代碼是在stackoverflow里找到的，出處忘了，感謝那個哥們的輪子。
這樣就可以看各條連接的權重了。

for mod in fnn.modules:
print "Module:", mod.name
if mod.paramdim > 0:
print "--parameters:", mod.params
for conn in fnn.connections[mod]:
print "-connection to", conn.outmod.name
if conn.paramdim > 0:
print "- parameters", conn.params
if hasattr(fnn, "recurrentConns"):
print "Recurrent connections"
for conn in fnn.recurrentConns:
print "-", conn.inmod.name, " to", conn.outmod.name
if conn.paramdim > 0:
print "- parameters", conn.params

我們可以調用一個計時器來看程序的運行時間，判斷性能

import time

# 在需要計時的代碼前調用這個
start = time.clock()

# 在需要計時的代碼后再調用一次clock函數
elapsed = (time.clock()-start)
print("Time used:" + str(elapsed))

如果需要一些統計數據的話，可以自己寫一些統計類的函數，或者找包里的tools模塊，有一些統計函數，比如均方誤差（MSE）等。