神經網絡基本概念

（1）激勵函數：

例如一個神經元對貓的眼睛敏感，那當它看到貓的眼睛的時候，就被激勵了，相應的參數就會被調優，它的貢獻就會越大。

下面是幾種常見的激活函數：

x軸表示傳遞過來的值，y軸表示它傳遞出去的值：

?

激勵函數在預測層，判斷哪些值要被送到預測結果那里：

?

TensorFlow 常用的 activation function

（2）添加神經層：

輸入參數有 inputs， in_size， out_size， 和 activation_function

分類問題的 loss 函數 cross_entropy ：

?

overfitting：

下面第三個圖就是 overfitting，就是過度準確地擬合了歷史數據，而對新數據預測時就會有很大誤差：

Tensorflow 有一個很好的工具， 叫做dropout， 只需要給予它一個不被 drop 掉的百分比，就能很好地降低 overfitting。

dropout 是指在深度學習網絡的訓練過程中，按照一定的概率將一部分神經網絡單元暫時從網絡中丟棄，相當于從原始的網絡中找到一個更瘦的網絡，這篇博客中講的非常詳細

?

?

5. 可視化 Tensorboard

Tensorflow 自帶 tensorboard ，可以自動顯示我們所建造的神經網絡流程圖：

?

就是用 with tf.name_scope 定義各個框架，注意看代碼注釋中的區別：

import tensorflow as tf

def add_layer（inputs， in_size， out_size， activation_function=None）：

# add one more layer and return the output of this layer

# 區別：大框架，定義層 layer，里面有 小部件

with tf.name_scope（‘layer’）：

# 區別：小部件

with tf.name_scope（‘weights’）：

Weights = tf.Variable（tf.random_normal（［in_size， out_size］）， name=‘W’）

with tf.name_scope（‘biases’）：

biases = tf.Variable（tf.zeros（［1， out_size］） + 0.1， name=‘b’）

with tf.name_scope（‘Wx_plus_b’）：

Wx_plus_b = tf.add（tf.matmul（inputs， Weights）， biases）

if activation_function is None：

outputs = Wx_plus_b

else：

outputs = activation_function（Wx_plus_b， ）

return outputs

# define placeholder for inputs to network

# 區別：大框架，里面有 inputs x，y

with tf.name_scope（‘inputs’）：

xs = tf.placeholder（tf.float32， ［None， 1］， name=‘x_input’）

ys = tf.placeholder（tf.float32， ［None， 1］， name=‘y_input’）

# add hidden layer

l1 = add_layer（xs， 1， 10， activation_function=tf.nn.relu）

# add output layer

prediction = add_layer（l1， 10， 1， activation_function=None）

# the error between prediciton and real data

# 區別：定義框架 loss

with tf.name_scope（‘loss’）：

loss = tf.reduce_mean（tf.reduce_sum（tf.square（ys - prediction），

reduction_indices=［1］））

# 區別：定義框架 train

with tf.name_scope（‘train’）：

train_step = tf.train.GradientDescentOptimizer（0.1）.minimize（loss）

sess = tf.Session（）

# 區別：sess.graph 把所有框架加載到一個文件中放到文件夾“logs/”里

# 接著打開terminal，進入你存放的文件夾地址上一層，運行命令 tensorboard --logdir=‘logs/’

# 會返回一個地址，然后用瀏覽器打開這個地址，在 graph 標簽欄下打開

writer = tf.train.SummaryWriter（“logs/”， sess.graph）

# important step

sess.run（tf.initialize_all_variables（））

運行完上面代碼后，打開 terminal，進入你存放的文件夾地址上一層，運行命令 tensorboard --logdir=‘logs/’ 后會返回一個地址，然后用瀏覽器打開這個地址，點擊 graph 標簽欄下就可以看到流程圖了

?

6. 保存和加載訓練好了一個神經網絡后，可以保存起來下次使用時再次加載：import tensorflow as tf

import numpy as np

## Save to file

# remember to define the same dtype and shape when restore

W = tf.Variable（［［1，2，3］，［3，4，5］］， dtype=tf.float32， name=‘weights’）

b = tf.Variable（［［1，2，3］］， dtype=tf.float32， name=‘biases’）

init= tf.initialize_all_variables（）

saver = tf.train.Saver（）

# 用 saver 將所有的 variable 保存到定義的路徑

with tf.Session（） as sess：

sess.run（init）

save_path = saver.save（sess， “my_net/save_net.ckpt”）

print（“Save to path： ”， save_path）

################################################

# restore variables

# redefine the same shape and same type for your variables

W = tf.Variable（np.arange（6）.reshape（（2， 3））， dtype=tf.float32， name=“weights”）

b = tf.Variable（np.arange（3）.reshape（（1， 3））， dtype=tf.float32， name=“biases”）

# not need init step

saver = tf.train.Saver（）

# 用 saver 從路徑中將 save_net.ckpt 保存的 W 和 b restore 進來

with tf.Session（） as sess：

saver.restore（sess， “my_net/save_net.ckpt”）

print（“weights：”， sess.run（W））

print（“biases：”， sess.run（b））

?