大數據處理關鍵技術一般包括:大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用(大數據檢索、大數據可視化、大數據應用大數據安全等)。

大數據采集技術:

數據是指通過REID射頻數據、傳威器數據、社交網絡交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或采集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。

大數據采集一般分為大數據智能感知層:主要包括數據傳感體系、網絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。基礎支撐層;提供大數據服務平臺所器的虛擬服務器，結構化、半結構化及非結構化數據的數據庫及物聯網絡資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化接口技術，大數據的網絡傳輸與壓縮技術，大數據隱私保護技術等。

大數據預處理技術:

主要完成對已接收數據的辨析、抽取、清洗等操作。

1)抽取:因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助

我們將這些復雜的數據轉化為單一的或者便于處理的構型，以達到快速分析處理的目的。

2)清洗:對于大數據，并不全是有價值的，有些數據并不是我們所關心的

內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾“去噪”從而提取出有效數據。

大數據存儲及管理技術:

大數據存儲與管理要用存儲器把采集到的數據存儲起來，建立相應的數據庫，并進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等兒個關鍵問題。開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗余及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術:開發大數據可視化技術。

開發新型數據庫技術，數據庫分為關系型數據庫、非關系型數據庫以及數據庫緩存系統。其中，非關系型數據庫主要指的是NoSQL數據庫，分為:鍵值數據庫、列存數據庫、圖存數據庫以及文檔數據庫等類型。關系型數據庫包含了傳統關系數據庫系統以及NewSQL 數據庫。

開發大數據安全技術。收進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術:突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。

大數據分析及挖掘技術:

大數據分析技術。改進已有數據挖掘和機器學習技術;開發數據網絡挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基于對象的數據連接相似性連護第大數據融合技術:突破用戶興趣分析、網絡行為介析、情感語義介析等面向領域的大數據挖掘技術。

數據挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數據挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖擁對象可分為關系數據庫、面向對象數據庫、空間數據庫、時態數據庫、文本數據源、多媒體數據庫、異質數據庫、遺產數據庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網絡方法和數據庫方法。機器學習中，可細分為:歸納學習方法(決策樹、規則歸納等)、基于 X 例學習、遺傳算法筆。統讓方法中，可細分為:回歸分析(多元/口歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等) 聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網絡方法中，可細分為:前向神經網絡(BP算法等)、自組織神經網絡(自組織特征映射、競爭學習等)等。數據庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。

從挖掘任務和挖掘方法的角度，著重突破:1可視化分析。數據可視化無論對于普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。2數據挖掘算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的算法讓我們精煉數據，挖掘價值。這些算法一定要能夠應付大數據的量，同時還具有很高的處理速度。3.預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。4.語義引擎。語義引擎需要設計到有足夠的人工智能以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。5.數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標準化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。

大數據展現與應用技術:大數據技術能夠將隱藏于海量數據中的信息和知識挖掘

出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。在我國，大數據將重點應用于以下三大領域:商業智能、政府決策、公共服務。例如:商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，敬務云應用系統(道路監控、視頻監控、網絡監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據并行化處理技術，影視制作渲染技術，其他各種行業的云計算和海量數據處理應用技術等。

分享安排

時間：2022年11月24日 —2022年11月28日線上直播

目標：1.掌握大數據建模分析與使用方法。

2.掌握大數據平臺技術架構。

3.掌握國內外主流的大數據分析與BI商業智能分析解決方案。

4.掌握大數據分析在搜索引擎、廣告服務推薦、電商數據分析、金融客戶分析方面的應用。

5.掌握主流的基于大數據Hadoop和Spark、R的大數據分析平臺架構和實際應用。

6.掌握基于Hadoop大數據平臺的數據挖掘和數據倉庫分布式系統平臺應用，以及商業和開源的數據分析產品加上Hadoop平臺形成大數據分析平臺的應用剖析。

7.掌握常見的機器學習算法。

大數據課程知識點：

一、大數據概述：1.大數據及特點分析；2.大數據關健技術；3.大數據計算模式；4.大數據應用實例

二、大數據處理架構Hadoop：1.Hadoop項目結構；2.Hadoop安裝與使用；3.Hadoop集群的部署與使用；4.Hadoop 代表性組件

三、分布式文件系統HDFS ：1.HDFS體系結構；2.HDFS存儲；3.HDFS數據讀寫過程

四、分布式數據庫HBase ：1.HBase訪問接口；2.HBase數據類型；3.HBase實現原理；4.HBase運行機制；5.HBase應用

五、MapReduce ：1.MapReduce體系結構；2.MapReduce工作流程；3.資源管理調度框架YARN ；4.MapReduce應用

六、Spark ：1.Spark生態與運行架構；2.Spark SQL；3.Spark部署與應用方式

七、IPython Notebook運行Python Spark程序：1.Anaconda；2.IPython Notebook使用Spark；3.使用IPython Notebook在Hadoop YARN模式運行

八、Python Spark集成開發環境 ：1.Python Spark集成開發環境部署配置；2.Spark數據分析庫MLlib的開發部署

九、Python Spark決策樹二分類與多分類 ：1.決策樹原理；2.大數據問題；3.決策樹二分類；4.決策樹多分類

十、Python Spark支持向量機 ：1.支持向量機SVM 原理與算法；2.Python Spark SVM程序設計

十一、Python Spark 貝葉斯模型 ：1.樸素貝葉斯模型原理；2.Python Spark貝葉斯模型程序設計

十二、Python Spark邏輯回歸 ：1.邏輯回歸原理；2.Python Spark邏輯回歸程序設計

十三、Python Spark回歸分析 ：1.大數據分析；2.數據集介紹；3.Python Spark回歸程序設計

十四、Spark ML Pipeline 機器學習流程分類 ：1.機器學習流程組件：StringIndexer、OneHotEncoder、VectorAssembler等

2.使用Spark ML Pipeline 機器學習流程分類程序設計

十五、Python Spark 創建推薦引擎 ：1.推薦算法；2.推薦引擎大數據分析使用場景；3.推薦引擎設計

十六、項目實踐：1.日志分析系統與日志挖掘項目實踐；2.推薦系統項目實踐

審核編輯 黃昊宇