“大數(shù)據(jù)”、“數(shù)據(jù)分析”和“數(shù)據(jù)挖掘”忽然變成了熱門的流行詞,不斷形成與發(fā)展的新型的生產(chǎn)力和服務(wù)推動著人類經(jīng)濟(jì)社會項(xiàng)目的數(shù)據(jù)形式與規(guī)模向著更快、更準(zhǔn)的方向發(fā)展,這無疑也預(yù)示著現(xiàn)代大數(shù)據(jù)時(shí)代正朝著我們推進(jìn)。大數(shù)據(jù)是互聯(lián)網(wǎng)的海量數(shù)據(jù)挖掘,而數(shù)據(jù)挖掘更多是針對內(nèi)部企業(yè)行業(yè)小眾化的數(shù)據(jù)挖掘,數(shù)da據(jù)分析就是進(jìn)行做出針對性的分析和診斷,大數(shù)據(jù)需要分析的是趨勢和發(fā)展,數(shù)據(jù)挖掘主要發(fā)現(xiàn)的是問題和診斷。
那么應(yīng)當(dāng)如何正確、合理地應(yīng)用現(xiàn)代數(shù)據(jù)呢?應(yīng)當(dāng)如何分析、研究數(shù)據(jù)資源?這已經(jīng)逐漸成為當(dāng)代人較多關(guān)注的問題。所以應(yīng)首先了解什么是“大數(shù)據(jù)”、“數(shù)據(jù)分析”和“數(shù)據(jù)挖掘”。
大數(shù)據(jù)(bigdata)指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn);在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)Veracity(真實(shí)性)。
數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對收集來的大量數(shù)據(jù)進(jìn)行分析,提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。在實(shí)用中,數(shù)據(jù)分析可幫助人們作出判斷,以便采取適當(dāng)行動。數(shù)據(jù)分析的數(shù)學(xué)基礎(chǔ)在20世紀(jì)早期就已確立,但直到計(jì)算機(jī)的出現(xiàn)才使得實(shí)際操作成為可能,并使得數(shù)據(jù)分析得以推廣,數(shù)據(jù)分析是數(shù)學(xué)與計(jì)算機(jī)科學(xué)相結(jié)合的產(chǎn)物。
數(shù)據(jù)挖掘(英語:Datamining)又譯為資料探勘、數(shù)據(jù)采礦,它是數(shù)據(jù)庫知識發(fā)現(xiàn)(英語:KnowledgeDiscoveryinDatabases,簡稱:KDD)中的一個步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程,數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān),并通過統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)(依靠過去的經(jīng)驗(yàn)法則)和模式識別等諸多方法來實(shí)現(xiàn)上述目標(biāo)。
美國的大數(shù)據(jù)挖掘分析公司Palantir成立于2004年,該平臺把人工智能算法和強(qiáng)大的引擎(可以同時(shí)掃描多個數(shù)據(jù)庫)整合,可以同時(shí)處理大量數(shù)據(jù)庫,并允許用戶通過多種方式快速瀏覽相關(guān)信息。其產(chǎn)品已被美國中情局(CIA)、聯(lián)邦調(diào)查局(FBI)、海陸空三軍、聯(lián)邦檢察官、私人調(diào)查機(jī)構(gòu)及其他客戶所使用。類似CIA和FBI這樣的情報(bào)機(jī)構(gòu)有成千上萬個數(shù)據(jù)庫,并記錄著不同的數(shù)據(jù),比如財(cái)務(wù)數(shù)據(jù)、DNA樣本、語音資料、錄像片段以及世界各地的地圖。將這些數(shù)據(jù)建立聯(lián)系需要數(shù)年的時(shí)間,即便統(tǒng)一在一起,也很難駕馭不同種類的數(shù)據(jù),比如說如何關(guān)聯(lián)銷售數(shù)據(jù)和監(jiān)控錄像資料,而Palantir公司所做的就是開發(fā)軟件使這一切變得更容易。
Palantir引發(fā)了計(jì)算機(jī)時(shí)代的一場革命,它梳理所有可以獲得的數(shù)據(jù)庫,對相關(guān)信息進(jìn)行確認(rèn),并將他們整合起來。Palantir成立之初就獲得CIA基金公司In-Q-Tel的投資,現(xiàn)在成為了美國情報(bào)機(jī)關(guān)在反恐戰(zhàn)爭不能缺少的工具。Palantir有效地解決了911后對情報(bào)工作提出的技術(shù)難題:如何從大量的數(shù)據(jù)中快速獲取有價(jià)值的線索,可以說是CIA的反恐秘密武器。
責(zé)任編輯人:CC
-
數(shù)據(jù)挖掘
+關(guān)注
關(guān)注
1文章
406瀏覽量
25082 -
數(shù)據(jù)分析
+關(guān)注
關(guān)注
2文章
1516瀏覽量
36215 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
9063瀏覽量
143743
發(fā)布評論請先 登錄
API數(shù)據(jù)分析:淘寶流量來源分析,渠道優(yōu)化!
淘寶數(shù)據(jù)分析API:用戶行為洞察,精準(zhǔn)營銷決策!
數(shù)據(jù)分析是如何幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)
經(jīng)營數(shù)據(jù)分析可以通過哪些方式
【產(chǎn)品介紹】Altair RapidMiner數(shù)據(jù)分析與人工智能平臺
電磁兼容與電磁干擾在電磁兼容性大數(shù)據(jù)分析中的智能管理系統(tǒng)
XKCON祥控輸煤皮帶智能機(jī)器人巡檢系統(tǒng)對監(jiān)測數(shù)據(jù)進(jìn)行挖掘分析
如何通過數(shù)據(jù)分析識別設(shè)備故障模式?
構(gòu)建自定義電商數(shù)據(jù)分析API
AI數(shù)據(jù)分析儀設(shè)計(jì)原理圖:RapidIO信號接入 平板AI數(shù)據(jù)分析儀
如何使用協(xié)議分析儀進(jìn)行數(shù)據(jù)分析與可視化
數(shù)據(jù)中心和通信網(wǎng)絡(luò)有什么區(qū)別
大數(shù)據(jù)/數(shù)據(jù)分析/數(shù)據(jù)挖掘的聯(lián)系和區(qū)別
評論