數據采集工具有哪些

　　數據采集，又稱數據獲取，是利用一種裝置，從系統外部采集數據并輸入到系統內部的一個接口。數據采集

　　技術廣泛引用在各個領域。比如攝像頭，麥克風，都是數據采集工具。　被采集數據是已被轉換為電訊號的各種物理量，如溫度、水位、風速、壓力等，可以是模擬量，也可以是數字量。采集一般是采樣方式，即隔一定時間（稱采樣周期）對同一點數據重復采集。采集的數據大多是瞬時值，也可是某段時間內的一個特征值。準確的數據量測是數據采集的基礎。數據量測方法有接觸式和非接觸式，檢測元件多種多樣。不論哪種方法和元件，均以不影響被測對象狀態和測量環境為前提，以保證數據的正確性。數據采集含義很廣，包括對面狀連續物理量的采集。在計算機輔助制圖、測圖、設計中，對圖形或圖像數字化過程也可稱為數據采集，此時被采集的是幾何量（或包括物理量，如灰度）數據。　在互聯網行業快速發展的今天，數據采集已經被廣泛應用于互聯網及分布式領域，數據采集領域已經發生了重要的變化。首先，分布式控制應用場合中的智能數據采集系統在國內外已經取得了長足的發展。其次,總線兼容型數據采集插件的數量不斷增大,與個人計算機兼容的數據采集系統的數量也在增加。國內外各種數據采集機先后問世，將數據采集帶入了一個全新的時代。

　　1、離線搜集工具：ETL

　　在數據倉庫的語境下，ETL基本上便是數據搜集的代表，包括數據的提取(Extract)、轉換(Transform)和加載(Load)。在轉換的過程中，需求針對具體的事務場景對數據進行治理，例如進行不合法數據監測與過濾、格式轉換與數據規范化、數據替換、確保數據完整性等。

　　2、實時搜集工具：Flume/Kafka

　　實時搜集首要用在考慮流處理的事務場景，比方，用于記錄數據源的履行的各種操作活動，比方網絡監控的流量辦理、金融運用的股票記賬和 web 服務器記錄的用戶訪問行為。在流處理場景，數據搜集會成為Kafka的顧客，就像一個水壩一般將上游源源不斷的數據攔截住，然后依據事務場景做對應的處理(例如去重、去噪、中心核算等)，之后再寫入到對應的數據存儲中。

　　3、互聯網搜集工具：Crawler, DPI等

　　Scribe是Facebook開發的數據(日志)搜集體系。又被稱為網頁蜘蛛，網絡機器人，是一種按照一定的規矩，自動地抓取萬維網信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的搜集。

　　除了網絡中包含的內容之外，關于網絡流量的搜集能夠運用DPI或DFI等帶寬辦理技術進行處理。