數據挖掘的概念及特點

數據挖掘指從數據庫的大量數據中揭示出隱含的、先前未知的并有潛在價值的信息的非平凡過程。數據挖掘是一種決策支持過程，主要基于人工智能、機器學習、模式識別、統計學、數據庫、可視化技術等，高度自動化地分析企業的數據，作出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調整市場策略，減少風險，作出正確的決策。

數據挖掘的基本步驟。數據挖掘通過分析每個數據，從大量數據中尋找其規律的技術，主要有數據準備、規律尋找和規律表示三個步驟。數據準備是從相關的數據源中選取所需的數據并整合成用于數據挖掘的數據集;規律尋找是用某種方法將數據集所含的規律找出來;規律表示是盡可能以用戶可理解的方式將找出的規律表示出來。數據挖掘的任務有關聯分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。

數據挖掘的基本步驟

1、定義問題

在開始知識發現之前最先的也是最重要的要求就是了解數據和業務問題。必須要對目標有一個清晰明確的定義，即決定到底想干什么。比如，想提高電子信箱的利用率時，想做的可能是“提高用戶使用率”，也可能是“提高一次用戶使用的價值”，要解決這兩個問題而建立的模型幾乎是完全不同的，必須做出決定。

2、建立數據挖掘庫

建立數據挖掘庫包括以下幾個步驟：數據收集，數據描述，選擇，數據質量評估和數據清理，合并與整合，構建元數據，加載數據挖掘庫，維護數據挖掘庫。

3、分析數據

分析的目的是找到對預測輸出影響最大的數據字段，和決定是否需要定義導出字段。如果數據集包含成百上千的字段，那么瀏覽分析這些數據將是一件非常耗時和累人的事情，這時需要選擇一個具有好的界面和功能強大的工具軟件來協助你完成這些事情。

4、準備數據

建立模型之前的最后一步數據準備工作。可以把此步驟分為四個部分：選擇變量，選擇記錄，創建新變量，轉換變量。

5、建立模型

建立模型是一個反復的過程。需要仔細考察不同的模型以判斷哪個模型對面對的商業問題最有用。先用一部分數據建立模型，然后再用剩下的數據來測試和驗證這個得到的模型。有時還有第三個數據集，稱為驗證集，因為測試集可能受模型的特性的影響，這時需要一個獨立的數據集來驗證模型的準確性。訓練和測試數據挖掘模型需要把數據至少分成兩個部分，一個用于模型訓練，另一個用于模型測試。

6、評價模型

模型建立好之后，必須評價得到的結果、解釋模型的價值。從測試集中得到的準確率只對用于建立模型的數據有意義。在實際應用中，需要進一步了解錯誤的類型和由此帶來的相關費用的多少。經驗證明，有效的模型并不一定是正確的模型。

造成這一點的直接原因就是模型建立中隱含的各種假定，因此，直接在現實世界中測試模型很重要。先在小范圍內應用，取得測試數據，覺得滿意之后再向大范圍推廣實施。模型建立并經驗證之后，可以有兩種主要的使用方法。第一種是提供給分析人員做參考;另一種是把此模型應用到不同的數據集上。

編輯：jq