機器學習中涉及到了很多的概念，當然要想了解機器學習的話就需要對這些基礎知識有一個深入的了解才能夠入門機器學習，那么機器學習的基礎知識都有哪些呢？本文給大家列舉一下機器學習的基礎知識。

（1）準確率的概念，準確率就是分類模型預測準確的比例。

（2）AUC（曲線下面積）則是一種考慮到所有可能的分類閾值的評估標準。ROC 曲線下面積代表分類器隨機預測真正類要比假正類概率大的確信度。

（3）激活函數就是一種函數，也就是將前一層所有神經元激活值的加權和輸入到一個非線性函數中，然后向下一層傳遞該函數的輸出值。

（4）AdaGrad是一種復雜的梯度下降算法，重新調節每個參數的梯度，高效地給每個參數一個單獨的學習率。這些知識都是需要我們要了解的。

（5）在機器學習中，反向傳播神經網絡中完成梯度下降的重要算法。首先，在前向傳播的過程中計算每個節點的輸出值。然后，在反向傳播的過程中計算與每個參數對應的誤差的偏導數。

（6）基線就是被用為對比模型表現參考點的簡單模型。基線幫助模型開發者量化模型在特定問題上的預期表現。

（7）批量就是指模型訓練中一個迭代使用的樣本集。批量大小就是一個批量中樣本的數量。批量大小通常在訓練與推理的過程中確定。

（8）偏置就是與原點的截距或偏移量。偏置被稱為機器學習模型中的 b 或者 w0。而二元分類器一類分類任務，輸出兩個互斥（不相交）類別中的一個。binning/bucketing則是根據值的范圍將一個連續特征轉換成多個稱為 buckets 或者 bins二元特征，稱為 buckets或者bins。

（9）檢查點則是在特定的時刻標記模型的變量的狀態的數據。檢查點允許輸出模型的權重，也允許通過多個階段訓練模型。檢查點還允許跳過錯誤繼續進行。注意其自身的圖式并不包含于檢查點內。

（10）候選采樣是一種優化訓練時間的方式，使用 Softmax 等算法計算所有正標簽的概率，同時只計算一些隨機取樣的負標簽的概率。這個想法的思路是，負類別可以通過頻率更低的負強化進行學習，而正類別經常能得到適當的正強化，實際觀察確實如此。候選取樣的動力是計算有效性從所有負類別的非計算預測的得益。

（11）標定層是一種調整后期預測的結構，通常用于解釋預測偏差。調整后的預期和概率必須匹配一個觀察標簽集的分布。

（12）分類模型是機器學習模型的一種，將數據分離為兩個或多個離散類別。分類模型與回歸模型成對比。

（13）類別是所有同類屬性的目標值作為一個標簽。

（14）類別不平衡數據集是一個二元分類問題，其中兩個類別的標簽的分布頻率有很大的差異。

（15）收斂就是訓練過程達到的某種狀態，其中訓練損失和驗證損失在經過了確定的迭代次數后，在每一次迭代中，改變很小或完全不變。換句話說就是，當對當前數據繼續訓練而無法再提升模型的表現水平的時候，就稱模型已經收斂。在深度學習中，損失值下降之前，有時候經過多次迭代仍保持常量或者接近常量，會造成模型已經收斂的錯覺。

（16）混淆矩陣就是總結分類模型的預測結果的表現水平的 N×N 表格。混淆矩陣的一個軸列出模型預測的標簽，另一個軸列出實際的標簽。N 表示類別的數量。在一個二元分類模型中，N=2。多類別分類的混淆矩陣可以幫助發現錯誤出現的模式。混淆矩陣包含了足夠多的信息可以計算很多的模型表現度量，比如精度和召回率。

（17）連續特征擁有無限個取值點的浮點特征。和離散特征相反。

（18）分類閾值應用于模型的預測分數以分離正類別和負類別的一種標量值標準。當需要將 logistic 回歸的結果映射到二元分類模型中時就需要使用分類閾值。

（19）凸函數就是一種形狀大致呈字母 U 形或碗形的函數。然而，在退化情形中，凸函數的形狀就像一條線。凸函數是很常用的損失函數。因為當一個函數有最小值的時候，梯度下降的各種變化都能保證找到接近函數最小值的點。類似的，隨機梯度下降的各種變化有很大的概率找到接近函數最小值的點。兩個凸函數相加后仍然是凸函數。深度模型通常是非凸的。

（20）早期停止法就是一種正則化方法，在訓練損失完成下降之前停止模型訓練過程。當驗證數據集的損失開始上升的時候，即泛化表現變差的時候，就該使用早期停止法了。

（21）交叉熵就是多類別分類問題中對 Log 損失函數的推廣。交叉熵量化兩個概率分布之間的區別。

（22）密集特征就是大多數取值為非零的一種特征，通常用取浮點值的張量表示。和稀疏特征相反。

（23）派生特征是合成特征的同義詞。

（24）離散特征就是只有有限個可能取值的一種特征。和連續特征（continuous feature）對照。

（25）dropout 正則化就是訓練神經網絡時一種有用的正則化方法。dropout 正則化的過程是在單次梯度計算中刪去一層網絡中隨機選取的固定數量的單元。刪去的單元越多，正則化越強。

（26）動態模型是以連續更新的方式在線訓練的模型。即數據連續不斷的輸入模型。

（27）數據集就是樣本的集合。

（28）決策邊界在一個二元分類或多類別分類問題中模型學習的類別之間的分離器。

（29）深度模型是一種包含多個隱藏層的神經網絡。深度模型依賴于其可訓練的非線性性質。和寬度模型對照。

（30）假負類就是被模型錯誤的預測為負類的樣本。

（31）假正類就是被模型錯誤的預測為正類的樣本。

（32）假正類率的概念就是在ROC 曲線（ROC curve）中的 x 軸。FP 率的定義是：假正率=假正類數/（假正類數+真負類數）

（33）特征就是輸入變量，用于做出預測。

（34）特征列就是具有相關性的特征的集合，一個樣本的一個特征列中可能會有一個或者多個特征。特征的數據類型；一個特征是固定長度的或應該轉換為嵌入。一個特征列可以僅包含一個特征。

（35）特征交叉就是將特征進行交叉（乘積或者笛卡爾乘積）運算后得到的合成特征。特征交叉有助于表示非線性關系。

（36）特征工程就是在訓練模型的時候，決定哪些特征是有用的，然后將記錄文件和其它來源的原始數據轉換成上述特征的過程。

（37）特征集就是機器學習模型訓練的時候使用的特征群。

（38）特征定義就是描述所需的信息從 tf.Example 協議緩存中提取特征數據。因為 tf.Example 協議緩存只是數據的容器，必須明確以下信息：

（39）嵌入就是連續值特征的明確的特征。嵌入通常指將高維向量轉換到低維空間中。

在 TensorFlow 中，嵌入是通過反向傳播損失訓練的，正如神經網絡的其它參量一樣。

（40）經驗風險最小化就是選擇能最小化訓練數據的損失的模型函數的過程。和結構風險最小化（structual risk minimization）對照。

（41）集成就是多個模型預測的綜合考慮。可以通過以下一種或幾種方法創建一個集成方法，這些方法分別是設置不同的初始化、設置不同的超參量。設置不同的總體結構。而深度和廣度模型是一種集成。

（42）樣本就是一個數據集的一行內容。一個樣本包含了一個或多個特征，也可能是一個標簽。樣本有標注樣本和無標注樣本。

（43）梯度就是所有變量的偏導數的向量。在機器學習中，梯度是模型函數的偏導數向量。梯度指向最陡峭的上升路線。

（44）梯度截斷就是在應用梯度之前先修飾數值，梯度截斷有助于確保數值穩定性，防止梯度爆炸出現。

（45）梯度下降是通過計算模型的相關參量和損失函數的梯度最小化損失函數，值取決于訓練數據。梯度下降迭代地調整參量，逐漸靠近權重和偏置的最佳組合，從而最小化損失函數。

（46）圖在 TensorFlow 中的一種計算過程展示。圖中的節點表示操作。節點的連線是有指向性的，表示傳遞一個操作的結果給另一個操作。使用 TensorBoard 能可視化計算圖。

（47）泛化是指模型利用新的沒見過的數據而不是用于訓練的數據作出正確的預測的能力。

（48）廣義線性模型就是最小二乘回歸模型的推廣/泛化，基于高斯噪聲，相對于其它類型的模型，這種模型基于其它類型的噪聲，比如泊松噪聲，或類別噪聲等等。廣義線性模型的例子包括很多，比如logistic回歸、多分類回歸、最小二乘回歸。而廣義線性模型的參數可以通過凸優化得到，它的性質有很多，第一就是最理想的最小二乘回歸模型的平均預測結果等于訓練數據的平均標簽。第二就是最理想的 logistic 回歸模型的平均概率的預測結果等于訓練數據的平均標簽。第三就是廣義線性模型的能力局限于其特征的性質。和深度模型不同，一個廣義線性模型無法學習新的特征。

（49）啟發式就是一個問題的實際的和非最優的解，但能從學習經驗中獲得足夠多的進步。

（50）折頁損失函數就是損失函數的一個類型，用于分類模型以尋找距離每個樣本的距離最大的決策邊界，即最大化樣本和邊界之間的邊緣。

責任編輯：lq6