對于企業而言，坐擁龐大的數據資源，想要實現大數據分析，首要的就是要搭建起自身的大數據系統平臺，而每個公司都有自己特定的業務場景，因此在大數據平臺上的需求是不一樣的。今天我們僅從通用的角度，來聊聊大數據分析需要什么技術架構？

我們熟悉的以BAT為首的互聯網大廠，都擁有自身的大數據系統平臺，但是各自面臨的業務場景是不同的，比如說騰訊，主要是社交業務場景；百度，主要是搜索業務場景；而阿里，主要是電商業務場景。

這樣不同的業務場景下，需要根據實際的業務需求，選擇適合自己的技術框架，來搭建自己的大數據架構體系。但是從技術架構體系的共性來說，是可以從通用的技術模塊去理解，來幫助我們更好地學習和掌握大數據技術架構的。

數據收集模塊：主要負責收集各種數據源的數據，包括日志文件、網絡請求、數據庫、消息隊列等，并將這些數據轉換為文件或者消息向后傳遞。

數據轉存模塊：主要負責將數據定時傳遞到分布式存儲或者實時傳遞給下游的數據處理程序。

ETL模塊：主要負責數據的清洗、格式和內容的處理和轉換、數據分級分揀、加載至數據倉庫等。

數據倉庫模塊：這是整個架構的核心，數據倉庫是數據有組織的集中存儲的地方，負責數據的存取和管理。

元數據管理模塊：主要負責記錄和約束數據倉庫中數據的含義和格式，控制著數據的生命周期和數據質量。

分析引擎模塊：數據分析師交互最多的模塊，主要負責執行各種分析語句或代碼，完成各種分析任務。

作業管理與調度模塊：負責分析作業的管理和定時調度，包括作業的增刪改查、查看修改歷史、設置調度定時和執行引擎等。

資源分配與調度模塊：主要負責在多作業同時運行的場景下，有效協調和分配集群的資源，使資源利用率最大化。
責任編輯人：CC