本文要介紹的是一份長約 80 頁的學習筆記，旨在總結機器學習的一系列基本概念（如梯度下降、反向傳播等），不同的機器學習算法和流行模型，以及一些作者在實踐中學到的技巧和經驗。

如果你是一個剛剛入門機器學習領域的人，這份學習筆記或許可以幫你少走很多彎路；如果你不是學生，這些筆記還可以在你忘記某些模型或算法時供你快速查閱。必要時，你可以使用 Ctrl+F 搜索自己想知道的概念。

筆記共分為以下六大部分：

激活函數

梯度下降

參數

正則化

模型

實用竅門

在第一部分「激活函數」中，作者提供了 Sigmoid、tanh、Relu、Leaky Relu 四種常用的機器學習激活函數。

第二部分「梯度下降」又分為計算圖、反向傳播、L2 正則化梯度、梯度消失和梯度爆炸等 12 個小節：

為了幫助讀者理解，作者舉了一些例子，并對很多內容進行了可視化的展示：

梯度下降

筆記的第三部分是機器學習中的參數，又分為可學習參數和超參數、參數初始化、超參數調優等幾個小節。

為了防止新手走彎路，作者在「參數初始化」部分的開頭就提醒道：其實，TensorFlow 等機器學習框架已經提供了魯棒的參數初始化功能。類似的提醒在筆記中還有很多。

筆記的第四部分是正則化，包含 L2 正則化、L1 正則化、Dropout、早停四個小節。

第五部分是整份筆記的重中之重，詳細描述了邏輯回歸、多類分類（Softmax 回歸）、遷移學習、多任務學習、卷積神經網絡（CNN）、序列模型、Transformer 和 BERT 等八大類機器學習模型。并且，八大類模型下面又分為各個小類進行詳解，具體如下所示：

解釋相對簡單的前四類機器學習模型。

解釋最為詳盡的卷積神經網絡（CNN），包括 Filter/Kernel、LeNet-5、AlexNet、ResNet、目標檢測、人臉驗證以及神經風格遷移等。

序列模型，包括常見的循環神經網絡模型（RNN）、Gated Recurrent Unit（GRU）、LSTM、雙向 RNN、深度 RNN 示例、詞嵌入、序列到序列翻譯模型示例等。

Transformer 和 BERT 模型。

筆記最后一部分給出了一些「實用竅門」，包括訓練/開發/測試數據集、不匹配的數據分布、輸入歸一化以及誤差分析等 6 方面內容。其中有些竅門來自 Deep Learning AI 等在線課程，還有一部分是作者自己總結得到的。