機器學習與數據挖掘的關系 - 全文

　　在大多數非計算機專業人士以及部分計算機專業背景人士眼中，機器學習（Data Mining）以及數據挖掘（Machine Learning）是兩個高深的領域。在筆者看來，這是一種過高”瞻仰“的習慣性錯誤理解（在這里我加了好多定語）。事實上，這兩個領域與計算機其他領域一樣都是在融匯理論和實踐的過程中不斷熟練和深入，不同之處僅在于滲透了更多的數學知識（主要是統計學），在后面的文章中我會努力將這些數學知識以一種更容易理解的方式講解給大家。本文從基本概念出發淺析他們的關系和異同，不講具體算法和數學公式。希望對大家能有所幫助。

　　一、概念定義

　　機器學習（Machine Learning，ML）是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科。其專門研究計算機是怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構，使之不斷改善自身的性能。

　　數據挖掘是從海量數據中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。數據挖掘中用到了大量的機器學習界提供的數據分析技術和數據庫界提供的數據管理技術。

　　學習能力是智能行為的一個非常重要的特征，不具有學習能力的系統很難稱之為一個真正的智能系統，而機器學習則希望（計算機）系統能夠利用經驗來改善自身的性能，因此該領域一直是人工智能的核心研究領域之一。在計算機系統中，“經驗”通常是以數據的形式存在的，因此，機器學習不僅涉及對人的認知學習過程的探索，還涉及對數據的分析處理。實際上，機器學習已經成為計算機數據分析技術的創新源頭之一。由于幾乎所有的學科都要面對數據分析任務，因此機器學習已經開始影響到計算機科學的眾多領域，甚至影響到計算機科學之外的很多學科。機器學習是數據挖掘中的一種重要工具。然而數據挖掘不僅僅要研究、拓展、應用一些機器學習方法，還要通過許多非機器學習技術解決數據倉儲、大規模數據、數據噪聲等實踐問題。機器學習的涉及面也很寬，常用在數據挖掘上的方法通常只是“從數據學習”。然而機器學習不僅僅可以用在數據挖掘上，一些機器學習的子領域甚至與數據挖掘關系不大，如增強學習與自動控制等。所以筆者認為，數據挖掘是從目的而言的，機器學習是從方法而言的，兩個領域有相當大的交集，但不能等同。

　　二、關系與區別

　　關系：數據挖掘可以認為是數據庫技術與機器學習的交叉，它利用數據庫技術來管理海量的數據，并利用機器學習和統計分析來進行數據分析。其關系如下圖：

　　機器學習與數據挖掘的關系

　　數據挖掘受到了很多學科領域的影響，其中數據庫、機器學習、統計學無疑影響最大。粗糙地說，數據庫提供數據管理技術，機器學習和統計學提供數據分析技術。由于統計學界往往醉心于理論的優美而忽視實際的效用，因此，統計學界提供的很多技術通常都要在機器學習界進一步研究，變成有效的機器學習算法之后才能再進入數據挖掘領域。從這個意義上說，統計學主要是通過機器學習來對數據挖掘發揮影響，而機器學習和數據庫則是數據挖掘的兩大支撐技術。

　　區別：數據挖掘并非只是機器學習在工業上的簡單應用，他們之間至少包含如下兩點重要區別：

　　1.傳統的機器學習研究并不把海量數據作為處理對象，因此，數據挖掘必須對這些技術和算法進行專門的、不簡單的改造。

　　2.作為一個獨立的學科，數據挖掘也有其獨特的東西，即：關聯分析。簡單地說，關聯分析就是希望從數據中找出“買尿布的人很可能會買啤酒”這樣看起來匪夷所思但可能很有意義的模式。

　　幾個相關示例

　　首先，給大家列舉一些生活中與數據挖掘、機器學習相關的應用示例以幫助大家更好的理解。

　　示例1（關聯問題）：

　　經常去超市的同學可能會發現，我們事先在購物清單上列舉好的某些商品可能會被超市阿姨擺放在相鄰的區域。例如，面包柜臺旁邊會擺上黃油、面條柜臺附近一定會有老干媽等等。這樣的物品擺放會讓我們的購物過程更加快捷、輕松。

　　那么如何知道哪些物品該擺放在一塊？又或者用戶在購買某一個商品的情況下購買另一個商品的概率有多大？這就要利用關聯數據挖掘的相關算法來解決。

　　示例2（分類問題）：

　　在嘈雜的廣場上，身邊人來人往。仔細觀察他們的外貌、衣著、言行等我們會不自覺地斷論這個人是新疆人、東北人或者是上海人。又例如，在剛剛結束的2015NBA總決賽中，各類權威機構會大量分析騎士隊與勇士隊的歷史數據從而得出騎士隊或者勇士隊是否會奪冠的結論。

　　在上述第一個例子中，由于地域眾多，在對人進行地域分類的時候這是一個典型的多分類問題。而在第二個例子中各類機構預測勇士隊是否會戰勝騎士隊奪冠，這是一個二分類問題，其結果只有兩種。二分類問題在業界的出鏡率異常高，例如在推薦系統中預測一個人是否會買某個商品、其他諸如地震預測、火災預測等等。

　　示例3（聚類問題）：

　　”物以類聚，人以群分“，生活中到處都有聚類問題的影子。假設銀行擁有若干客戶的歷史消費記錄，現在由于業務擴張需要新增幾款面對不同人群的理財產品，那么如何才能準確的將不同的理財產品通過電話留言的方式推薦給不同的人群？這便是一個聚類問題，銀行一般會將所有的用戶進行聚類，有相似特征的用戶屬于同一個類別，最后將不同理財產品推薦給相應類別的客戶。