2003 年谷歌大數據“三駕馬車”論文發表，至今，大數據技術已經成為各大企業尤其是互聯網企業的基礎設施。十幾年中，早期 Hadoop 的大力發展、中期 Kafka、Spark 的異軍突起以及現在 Flink 的強勢突圍，不僅推動大數據成為了企業應用的關鍵組件，同時為機器學習AI技術的發展提供了強有力的保障。大數據促進了人工智能技術的革新，大數據、深度學習使得人工智能在廣泛的領域都獲得了突破性進展。

人工智能主要有三個分支

1.依據規則的人工智能；

2.無規則，計算機讀取大量數據，依據數據的計算、概率剖析等方法，進行智能處理的人工智能；

3.依據神經元網絡的一種深度學習。

大數據發掘與人工智能技能相輔相成，互相影響。大數據分為“結構化數據”與“非結構化數據”。“結構化數據”是指企業的客戶信息、運營數據、銷售數據、庫存數據等，存儲于普通的數據庫之中，專指可作為數據庫進行管理的數據。相反，“非結構化數據”是指不存儲于數據庫之中的，包括電子郵件、文本文件、圖畫、視頻等數據。

現在，非結構化數據激增，企業數據的80％左右都對錯結構化數據。跟著交際媒體的鼓起，非結構化數據更是迎來了爆發式添加。復雜、海量的數據通常被稱為大數據。

每個企業在經營過程中都會產生大量的數據，隨著數據資源的不斷積累，數據管理和治理也將成為企業思考的重要問題。

2020年，將會有更多企業加入到尋求通過AI技術實現數據管理的行列中來。基于AI的數據管理，通過機器學習模型，結合研發與運維等操作過程中的元數據，自動化創建數據質量規則，提供問題精準定位、監控預警等能力，從而免去許多手動任務操作過程。

有機構預測，在2022年底之前，通過機器學習和和自動化服務管理技術，數據管理的手動任務將會減少45%。

現在，大量數據發生之后，有低成本的存儲器將其存儲，有高速的CPU對其進行處理，所以才有了人工智能后兩個分支的理論得以實踐。由此，人工智能就能做出挨近人類的處理或許判別，提高精準度。同時，選用人工智能的服務作為高附加值服務，成為了獲取更多用戶的主要因素，而不斷添加的用戶，發生更多的數據，使得人工智能進一步優化。

大數據經歷了較長時間的發展，目前已經進入了穩步的發展時期，主流的大數據計算框架已經成型，越來越多的基于這些主流框架的精細化上層應用會成為一個趨勢。此外機器學習、AI 的持續發展反過來也在推動大數據的規模、實時性以及平臺化的發展。越來越多的企業構建起端到端的大數據機器學習平臺以提高大數據AI 落地效率，各大云廠商更是構建出此類一體化產品希望能夠收獲更多的客戶和收益。
責任編輯:tzh