摘要

我們將從大數據的概念、核心技術、特點、通用應用這4個方面對大數據進行闡述。

01 大數據概念

數據發展推動科技進步，海量數據給數據分析帶來了新的機遇和挑戰。大數據是一種強大到在獲取、存儲、管理、分析方面遠遠超出傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和較低的價值密度這四大特征。

于是，我們需要新的處理模式來實現更強的數據處理能力以應對多樣化的信息資產。

大數據技術追求的不是精確性的樣本數據，而是面向全體的數據，這部分數據可能是不精確的、非結構化的，但大數據技術正是利用這些之前未被利用的數據，創造新的價值。

從海量數據中獲得的數據處理結果可能是超乎我們的認知邏輯的，但是我們并不需要理解結果背后的因果關系。簡言之，我們需要用相關思維替代因果思維。

02 大數據核心技術

大數據在信息系統的生命周期中，從數據源到最終產生有價值的可視化信息，主要經歷6個步驟，分別是數據收集、數據存儲、資源管理與服務協調、計算框架確定、數據分析和數據可視化，此過程涵蓋了海量分布式系統、數據庫、并行計算框架、數據挖掘等方面的技術。

圖2-1羅列了大數據技術中各個步驟目前所對應的主流技術體系，大數據的相關技術日新月異、層出不窮，由于篇幅限制，不再一一列舉。

▲圖2-1 大數據的主流技術體系

03 大數據特點

大數據具有海量的數據規模、快速的數據流轉、多樣的數據類型和較低的價值密度這四大特征，下面將分別進行詳細闡述。

1. 海量的數據規模（Volume）

大數據所采集、存儲和計算的數據規模都非常大。隨著互聯網的廣泛應用，使用互聯網的人和企業等增多，數據的創造者變多，數據量呈幾何級增長。近年來，隨著數據維度變多、數據類型增加、數據的描述能力增強，數據可以傳達的信息也越來越多，越來越準確。

2. 快速的數據流轉（Velocity）

大數據不僅增長速度快，處理速度也快，有很強的時效性。在信息時代，人成為網絡的核心，每個人每天都在制造新的數據，這些數據再被相應的機構如政府、互聯網企業、銀行、電信運營商等收集，形成了一個個龐大的數據體系。

面對如此龐大的數據體系，處理數據并得到結果的速度越快，數據的時效性就越強，價值就越高——而大數據和傳統數據挖掘最大的區別也在于此，大數據更強調數據處理的實時性和時效性。

3. 多樣的數據類型（Variety）

大數據的種類和來源多樣化，多樣的數據為數據處理帶來了挑戰。在數據結構上，大數據可以分為結構化數據、半結構化數據和非結構化數據；在具體形式上，大數據可以分為視頻、音頻、圖像、博客、社交網絡、互聯網搜索等。大數據迎接的挑戰就是要針對這些結構不一、形式多樣的數據，挖掘其中的相關性。而這些前所未有的、來自各個領域的、不同形式的數據，賦予了大數據強大的威力。

4. 較低的價值密度（Value）

大數據的價值密度相對較低。數據的價值密度和數據的規模呈反相關，數據的規模越大，數據的價值密度越低。大數據最大的價值即在于從大量低價值密度數據中挖掘出對分析和預測等有價值的信息。

相較于傳統數據挖掘利用結構化的數據類型，大數據把目光也投向了非結構化的、非抽樣的、包含全體的數據類型。這為大數據帶來了更多的有效信息，但同時也增加了大量無價值的甚至是錯誤的信息。

04 大數據的通用應用

大數據已經滲透到了全世界市場中的各個領域，彰顯著巨大的價值，其在各個領域的詳細應用情況如下。

1. 金融領域

大數據在金融領域應用廣泛，如針對個人的信貸風險評估，銀行根據用戶的刷卡、轉賬、微信評論等數據有針對性地推送廣告；理財軟件通過大數據為客戶有針對性地推薦理財產品。總結來說，大數據在金融領域的應用可以概括為精準營銷、風險控制、效率提升、決策支持。

2. 醫療領域

醫療行業擁有大量的病例、檢測記錄、藥物記錄、治療結果記錄等，這些數據中蘊含著巨大的價值，如果可以加以利用，將對醫療界產生不可估量的影響。疾病確診和因人而異的治療方案設定是醫療領域的重大問題，大數據可以幫助建立針對疾病特點、病人狀況以及治療方案的數據庫，為人類健康貢獻巨大的力量。

3. 生物領域

各國研究人員正如火如荼地推進著人類基因組計劃，這促進了生物數據的爆發式增長。基因檢測可以幫助人們對自己現在的以及未來的健康狀況有更深刻、全面的認識，甚至可以幫助父母在寶寶出生前就對其健康狀況進行檢測。因此，人類基因組計劃是未來人類戰勝疾病的重要工具。

大數據可以整合已有的人類基因的檢測結果并進行分析，加速人類基因組研究的進程。

4. 零售領域

零售行業可以利用大數據了解顧客的消費偏好和趨勢，用以商品的精準營銷和相關產品的精準推銷，降低運營成本，提高進貨管理和過期產品管理效率。大數據可以幫助零售商預測消費者需求趨勢，更高效地提高供應鏈滿足需求的能力。對大數據帶來的潛在信息的挖掘和有效利用，將成為未來零售領域的必爭之地。

5. 電商領域

電商行業的數據集中、數據規模大，可以利用大數據在很多方面進行有效信息的分析提取，如用戶消費趨勢、地域消費特點等。

電商領域中的大數據應用已經頗具規模，電商也是最早利用大數據進行精準營銷的行業。電商可以根據顧客消費習慣提前備貨以提高商品送達效率，還可以通過對客戶瀏覽、收藏、加入購物車和購買記錄等數據的分析，對用戶進行有效的商品推薦，提高銷量。

關于作者：王健宗，博士，某大型金融集團科技公司資深人工智能總監、高級工程師，中國計算機學會大數據專家委員會委員、高級會員，美國佛羅里達大學人工智能博士后，曾任美國萊斯大學電子與計算機工程系研究員、美國惠普公司高級云計算解決方案專家。何安珣，某大型金融集團科技公司高級算法工程師，中國計算機學會會員，中國計算機學會青年計算機科技論壇（YOCSEF深圳）委員。擁有豐富的金融智能從業經驗，主要研究金融智能系統框架搭建、算法研究和模型融合技術等，致力于推動金融智能的落地應用與價值創造。李澤遠，某大型金融集團科技公司高級人工智能產品經理，中國計算機學會會員，長期致力于金融智能的產品化工作，負責技術服務類的產品生態搭建與實施推進。

責任編輯：lq