hadoop與數(shù)據(jù)挖掘的關(guān)系

大數(shù)據(jù)就是Hadoop嗎？當(dāng)然不是，但是很多人一提到大數(shù)據(jù)就會(huì)立刻想到Hadoop。現(xiàn)在數(shù)據(jù)科學(xué)家利用海量數(shù)據(jù)創(chuàng)建數(shù)據(jù)模型為企業(yè)帶來的利益是以前所不可想象的，但是數(shù)據(jù)的潛力已經(jīng)被完全挖掘出來了嗎，它滿足了人們的期待了嗎？今天小編就從Hadoop項(xiàng)目開始為你抽絲剝繭了解hadoop。大數(shù)據(jù)技術(shù)一旦進(jìn)入超級(jí)計(jì)算時(shí)代，很快便可應(yīng)用于普通企業(yè)，在遍地開花的過程中，它將改變?cè)S多行業(yè)業(yè)務(wù)經(jīng)營的模式。但是很多人對(duì)大數(shù)據(jù)存在誤解，下面就來縷一縷大數(shù)據(jù)與Hadoop之間的關(guān)系。

Hadoop是什么？

?
? ? ? ?Hadoop是一個(gè)對(duì)海量數(shù)據(jù)進(jìn)行處理的分布式系統(tǒng)架構(gòu)，可以理解為Hadoop就是一個(gè)對(duì)大量的數(shù)據(jù)進(jìn)行分析的工具，和其他組件搭配使用，來完成對(duì)大量數(shù)據(jù)的收集、存儲(chǔ)和計(jì)算。 下面就以hadoop教學(xué)實(shí)戰(zhàn)項(xiàng)目為例，為hadoop做一個(gè)詳細(xì)的解析：

項(xiàng)目說明：hadoop_storm_spark結(jié)合實(shí)驗(yàn)的例子，模擬雙11，根據(jù)訂單詳細(xì)信息，匯總出總銷售量，各個(gè)地區(qū)銷售排行，以及后期的SQL分析，數(shù)據(jù)分析，數(shù)據(jù)挖掘等。

第一階段（storm實(shí)時(shí)報(bào)表）

- （1）用戶訂單入kafka隊(duì)列，

- （2）經(jīng)過storm，實(shí)時(shí)計(jì)算出總銷售量，和各個(gè)省份的的銷售量，

- （3）將計(jì)算結(jié)果保存到hbase數(shù)據(jù)庫中。

- 第二階段（離線報(bào)表）

- （1）用戶訂單入oracle數(shù)據(jù)庫，

- （2）通過sqoop把數(shù)據(jù)導(dǎo)入hadoop上。

- （3）使用mr和rdd對(duì)hadoop上的原始訂單做etl清洗

- （4）建立hive表和sparkSQL內(nèi)存表。為后期分析做基礎(chǔ)

- （5）使用HQL實(shí)現(xiàn)業(yè)務(wù)指標(biāo)分析，和用戶畫像分析，將結(jié)果存在mysql中。

供web前臺(tái)使用

- 第三階段（大規(guī)模訂單即席查詢，和多維度查詢）

- （1）用戶訂單入oracle數(shù)據(jù)庫，

- （2）通過sqoop把數(shù)據(jù)導(dǎo)入hadoop上。

- （3）寫mr把hadoop的數(shù)據(jù)加載到hbase上

- （4）使用hbase java api實(shí)現(xiàn)訂單的即席查詢

- （5）solr綁定hbase，做多維度的條件查詢 - 第四階段（數(shù)據(jù)挖掘和圖計(jì)算） - （1）用戶訂單入oracle數(shù)據(jù)庫， - （2）通過sqoop把數(shù)據(jù)導(dǎo)入hadoop上。 - （3）使用mr和rdd對(duì)hadoop上的原始訂單做etl清洗 總的來說Hadoop適合應(yīng)用于大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析的應(yīng)用，適合于服務(wù)器幾千臺(tái)到幾萬臺(tái)的集群運(yùn)行，支持PB級(jí)的存儲(chǔ)容量。Hadoop典型應(yīng)用有：搜索、日志處理、推薦系統(tǒng)、數(shù)據(jù)分析、視頻圖像分析、數(shù)據(jù)保存等。

關(guān)于大數(shù)據(jù)與Hadoop

Hadoop只是一個(gè)大數(shù)據(jù)的處理框架，是一門技術(shù)。學(xué)習(xí)門檻稍低，會(huì)JAVA，會(huì)Linux，了解JVM，知道同步，通信等一些計(jì)算機(jī)基礎(chǔ)知識(shí) ，然后學(xué)起來基本不會(huì)有問題。

Hadoop其實(shí)就是一個(gè)分布式的文件系統(tǒng)，數(shù)據(jù)會(huì)分布到 N 臺(tái)服務(wù)器中，一旦需要處理數(shù)據(jù)，則 N 臺(tái)服務(wù)器共同進(jìn)行處理，再把各個(gè)中間結(jié)果匯總成最后的結(jié)果。當(dāng)然，這需要特別的算法，不能再使用傳統(tǒng)的算法了，這就要使用 MapReduce 框架了。我們?nèi)f能的淘寶就是使用了 hadoop 的，你想想上年雙十一那 一千億交易額，其中累積起來的數(shù)據(jù)可是很驚人的。

數(shù)據(jù)挖掘的范疇非常大，這個(gè)領(lǐng)域非常火，但也面臨著非常大的挑戰(zhàn)，與機(jī)器學(xué)習(xí)，人工智能密切相關(guān)，想學(xué)習(xí)這個(gè)，不但需要一定的基礎(chǔ)（比如數(shù)學(xué)功底），而且需要恒心，耐力。
?

關(guān)于大數(shù)據(jù)的三大誤解

對(duì)于大數(shù)據(jù)是什么以及大數(shù)據(jù)能干什么存在很多誤會(huì)。下面就是有關(guān)大數(shù)據(jù)的三個(gè)誤解：

1、關(guān)系數(shù)據(jù)庫無法大幅增容，因此不能被認(rèn)為是大數(shù)據(jù)技術(shù)（不對(duì)）

2、無需考慮工作負(fù)載或具體使用情況，Hadoop或以此類推的任何MapReduce都是大數(shù)據(jù)的最佳選擇。（也不對(duì)）

3、圖解式管理系統(tǒng)時(shí)代已經(jīng)結(jié)束。圖解的發(fā)展只會(huì)成為大數(shù)據(jù)應(yīng)用的攔路虎。（錯(cuò)誤）

大數(shù)據(jù)走進(jìn)歷史舞臺(tái)

適用于企業(yè)的大數(shù)據(jù)已經(jīng)出現(xiàn)，這在部分程度上要?dú)w功于計(jì)算能耗的降低以及系統(tǒng)已具備執(zhí)行多重處理的能力這樣一個(gè)事實(shí)。而且隨著主存儲(chǔ)器成本的不斷下降，和過去相比，公司可以將更多的數(shù)據(jù)存到存儲(chǔ)器中。并且，將多臺(tái)計(jì)算機(jī)連到服務(wù)器集群也變得更容易了。這三個(gè)變化加在一起成就了大數(shù)據(jù)，IDC 數(shù)據(jù)庫管理分析師Carl Olofson如是說。

“我們不僅要把這些事情做好，還要能承受得起相應(yīng)的開支”，他說。 “過去的某些超級(jí)計(jì)算機(jī)也具有執(zhí)行系統(tǒng)多重處理的能力，（這些系統(tǒng)緊密相連，形成了一個(gè)集群）但因?yàn)橐褂脤ｉT的硬件，它的成本高達(dá)幾十萬美元甚至更多。”現(xiàn)在我們可以使用普通硬件完成相同的配置。正因?yàn)檫@樣，我們能更快更省得處理更多數(shù)據(jù)。“

大數(shù)據(jù)技術(shù)還沒有在有大型數(shù)據(jù)倉庫的公司中得到廣泛普及。IDC認(rèn)為，想讓大數(shù)據(jù)技術(shù)得到認(rèn)可，首先技術(shù)本身一定要足夠便宜，然后，必須滿足IBM稱之為3V標(biāo)準(zhǔn)中的2V，即：類型（variety），量（volume）和速度（velocity）。

種類要求指的是待存儲(chǔ)數(shù)據(jù)的類型分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。量是指存儲(chǔ)和分析的數(shù)據(jù)量可以很龐大。 “數(shù)據(jù)量不只是幾百TB，”

Olofson說： “要視具體情況而定，因?yàn)樗俣群蜁r(shí)間的關(guān)系，有時(shí)幾百GB可能就算很多了。如果我現(xiàn)在一秒能完成過去要花一小時(shí)才能完成的300GB的數(shù)據(jù)分析，那結(jié)果將大為不同。大數(shù)據(jù)就是這樣一種技術(shù)，它可以滿足這三個(gè)要求中的至少兩個(gè)，并且普通企業(yè)也能夠部署。”