hadoop與數據挖掘的關系

大數據就是Hadoop嗎？當然不是，但是很多人一提到大數據就會立刻想到Hadoop。現在數據科學家利用海量數據創建數據模型為企業帶來的利益是以前所不可想象的，但是數據的潛力已經被完全挖掘出來了嗎，它滿足了人們的期待了嗎？今天小編就從Hadoop項目開始為你抽絲剝繭了解hadoop。大數據技術一旦進入超級計算時代，很快便可應用于普通企業，在遍地開花的過程中，它將改變許多行業業務經營的模式。但是很多人對大數據存在誤解，下面就來縷一縷大數據與Hadoop之間的關系。

Hadoop是什么？

?
? ? ? ?Hadoop是一個對海量數據進行處理的分布式系統架構，可以理解為Hadoop就是一個對大量的數據進行分析的工具，和其他組件搭配使用，來完成對大量數據的收集、存儲和計算。 下面就以hadoop教學實戰項目為例，為hadoop做一個詳細的解析：

項目說明：hadoop_storm_spark結合實驗的例子，模擬雙11，根據訂單詳細信息，匯總出總銷售量，各個地區銷售排行，以及后期的SQL分析，數據分析，數據挖掘等。

第一階段（storm實時報表）

- （1）用戶訂單入kafka隊列，

- （2）經過storm，實時計算出總銷售量，和各個省份的的銷售量，

- （3）將計算結果保存到hbase數據庫中。

- 第二階段（離線報表）

- （1）用戶訂單入oracle數據庫，

- （2）通過sqoop把數據導入hadoop上。

- （3）使用mr和rdd對hadoop上的原始訂單做etl清洗

- （4）建立hive表和sparkSQL內存表。為后期分析做基礎

- （5）使用HQL實現業務指標分析，和用戶畫像分析，將結果存在mysql中。

供web前臺使用

- 第三階段（大規模訂單即席查詢，和多維度查詢）

- （1）用戶訂單入oracle數據庫，

- （2）通過sqoop把數據導入hadoop上。

- （3）寫mr把hadoop的數據加載到hbase上

- （4）使用hbase java api實現訂單的即席查詢

- （5）solr綁定hbase，做多維度的條件查詢 - 第四階段（數據挖掘和圖計算） - （1）用戶訂單入oracle數據庫， - （2）通過sqoop把數據導入hadoop上。 - （3）使用mr和rdd對hadoop上的原始訂單做etl清洗 總的來說Hadoop適合應用于大數據存儲和大數據分析的應用，適合于服務器幾千臺到幾萬臺的集群運行，支持PB級的存儲容量。Hadoop典型應用有：搜索、日志處理、推薦系統、數據分析、視頻圖像分析、數據保存等。

關于大數據與Hadoop

Hadoop只是一個大數據的處理框架，是一門技術。學習門檻稍低，會JAVA，會Linux，了解JVM，知道同步，通信等一些計算機基礎知識 ，然后學起來基本不會有問題。

Hadoop其實就是一個分布式的文件系統，數據會分布到 N 臺服務器中，一旦需要處理數據，則 N 臺服務器共同進行處理，再把各個中間結果匯總成最后的結果。當然，這需要特別的算法，不能再使用傳統的算法了，這就要使用 MapReduce 框架了。我們萬能的淘寶就是使用了 hadoop 的，你想想上年雙十一那 一千億交易額，其中累積起來的數據可是很驚人的。

數據挖掘的范疇非常大，這個領域非常火，但也面臨著非常大的挑戰，與機器學習，人工智能密切相關，想學習這個，不但需要一定的基礎（比如數學功底），而且需要恒心，耐力。
?

關于大數據的三大誤解

對于大數據是什么以及大數據能干什么存在很多誤會。下面就是有關大數據的三個誤解：

1、關系數據庫無法大幅增容，因此不能被認為是大數據技術（不對）

2、無需考慮工作負載或具體使用情況，Hadoop或以此類推的任何MapReduce都是大數據的最佳選擇。（也不對）

3、圖解式管理系統時代已經結束。圖解的發展只會成為大數據應用的攔路虎。（錯誤）

大數據走進歷史舞臺

適用于企業的大數據已經出現，這在部分程度上要歸功于計算能耗的降低以及系統已具備執行多重處理的能力這樣一個事實。而且隨著主存儲器成本的不斷下降，和過去相比，公司可以將更多的數據存到存儲器中。并且，將多臺計算機連到服務器集群也變得更容易了。這三個變化加在一起成就了大數據，IDC 數據庫管理分析師Carl Olofson如是說。

“我們不僅要把這些事情做好，還要能承受得起相應的開支”，他說。 “過去的某些超級計算機也具有執行系統多重處理的能力，（這些系統緊密相連，形成了一個集群）但因為要使用專門的硬件，它的成本高達幾十萬美元甚至更多。”現在我們可以使用普通硬件完成相同的配置。正因為這樣，我們能更快更省得處理更多數據。“

大數據技術還沒有在有大型數據倉庫的公司中得到廣泛普及。IDC認為，想讓大數據技術得到認可，首先技術本身一定要足夠便宜，然后，必須滿足IBM稱之為3V標準中的2V，即：類型（variety），量（volume）和速度（velocity）。

種類要求指的是待存儲數據的類型分為結構化數據和非結構化數據。量是指存儲和分析的數據量可以很龐大。 “數據量不只是幾百TB，”

Olofson說： “要視具體情況而定，因為速度和時間的關系，有時幾百GB可能就算很多了。如果我現在一秒能完成過去要花一小時才能完成的300GB的數據分析，那結果將大為不同。大數據就是這樣一種技術，它可以滿足這三個要求中的至少兩個，并且普通企業也能夠部署。”