世界經歷過工業革命，現在我們正處于數字革命的時代。機器學習、人工智能和大數據分析是當今世界的現實。

我最近有機會與Talend副總裁CiaranDynes以及Datalytyx主管JustinMullen交談。Talend是一家軟件集成供應商，主要為企業提供大數據解決方案，而Datalytyx是大型數據工程、數據分析和云解決方案業務的領先提供商，其提供的服務能夠讓企業運營更快、更有效、更有利潤。

大數據運營的演變

為了更深入地了解大數據運營的演變，我詢問了JustinMullen五年前面臨的挑戰，以及他們為什么要需求現代化的集成平臺。他回應道，“我們面臨著與客戶類似的挑戰。”在大數據分析之前，我們都面臨著類似的問題

他回應道，“我們面臨著與客戶面臨的類似挑戰。”在大數據分析之前，這就是我所說的“數據分析困境”。在很大程度上，關于數據的分析主要是基本系統的手工聚合和數據處理。然后，我們可能面臨的最大挑戰是，在應用不同的分析算法來分析原始數據并以有意義的方式可視化結果之前，如何對數據進行歸納和管理，從而捋順業務關系。”

他進一步補充說，“我們的客戶希望的不僅僅是進行一次分析，而且還希望在幾個月和幾年的時間里，不斷刷新KPI性能。”在手工數據工程實踐中，我們很難滿足客戶的要求，而這正是我們決定需要一個可靠、可靠的數據管理平臺來解決這些挑戰的時候。

數據科學的出現

大多數經濟學家和社會科學家都對正在替代制造業和商業的自動化技術感到擔憂。如果數字化和自動化繼續以同樣的速度增長，機器有很大的可能取代人類。當今世界我們已經看到了一些類似現象，但在未來這種情況會更加突出。

然而，Dynes說，“數據科學家正在為今天不同領域的復雜問題提供解決方案。”他們利用數據分析中的有用信息來理解和解決問題。數據科學是一種輸入，輸出則是自動化。機器自動化，但人類提供必要的輸入來獲得想要的輸出。

這就為人工以及機器服務的相關需求創造了一個平衡。自動化和數據科學都是并行的。一個過程中沒有另一個過程是不完整的。如果不能通過操控來產生有意義的結果，原始數據就沒有任何意義;同樣，如果沒有足夠的相關數據，機器學習就無法實現。

將大數據整合到商業模式中

Dynes說：“企業正在意識到數據的重要性，并將大數據和機器學習解決方案納入他們的商業模式。”他進一步補充道，“我們看到自動化正在發生。”這在電子商務和制造業領域很明顯，而在移動銀行和金融領域也有著巨大的應用前景。”

當我問及他對于機器學習過程和平臺需求轉變的看法時，他補充說，“需求一直都存在。”數據分析一直至關重要。唯一的不同是，5年前，企業壟斷了數據，數據總是被秘密存儲起來。“誰擁有這些數據，誰就擁有權力，只有少數幾家知名的市場參與者能夠獲得數據。”

Justin曾與不同的公司合作過。其中一些知名客戶包括CalorGas,Jaeger以及Wejo。在談到這些公司在實施高級數據分析或機器學習之前所面臨的挑戰時，他說，“我的大多數客戶面臨的最大挑戰是在一處積累的關鍵數據，讓復雜的算法可以同時運行，從而顯現出更好的分析結果。”數據分析要有連續性，而不是一次性的，這至關重要。”

快速數字化的原因

Dynes說：“由于兩個主要原因，我們正在經歷快速的數字化。”“在過去的幾年里，這種技術的發展速度呈指數級增長。其次，組織文化已經發生了巨大的變化。”他補充說，“隨著開放源代碼技術和云平臺的出現，數據現在更容易獲齲”“現在越來越多的人獲得了信息，他們正在利用這些信息來獲取利益。”

除了技術方面的進步和發展，“進入職場的新一代也依賴于科技。”他們嚴重依賴科技來完成日常工作。他們對透明交流持更加開放的態度。因此，收集這代人的數據比較容易，因為他們已經準備好討論自己的觀點和偏好。他們已經準備好提問和回答不可能的問題了，”Dynes說。

當談到公司在選擇大數據分析解決方案時所面臨的挑戰時，Mullen補充道：“在使用機器學習的同時，行業目前面臨的挑戰是雙重的。他們面臨的第一個挑戰是數據收集、數據整理、數據管理（質量）和數據聚合。第二個挑戰是，在數據工程、高級分析和機器學習方面，對抗人類技能的匱乏。

“你需要把新世界和舊世界融合在一起。”舊世界嚴重依賴大數據收集，而新世界則主要關注實時數據解決方案。

Dynes說：“你需要把新世界和舊世界融合起來。”舊世界嚴重依賴數據收集，而新世界主要關注數據解決方案。如今，在這個行業中，已經有一些解決方案能夠同時滿足這兩個要求。

他的結論是，“數據工程的重要性是不可忽視的，機器學習就像潘多拉的盒子。”其在很多領域都有廣泛的應用，一旦你打造了高質量的服務，企業就會為你帶來更多業務。這是一件好事。