時代變幻莫測，僅僅增加客戶體驗流暢度和沉浸感并不能減輕企業的壓力。在這種情況下，投入數十億美元開發可以改進產品的機器學習模型就可以理解了。但有一個問題。公司不能只是把錢砸在數據科學家和機器學習工程師身上，就希望可以有奇跡發生。據 VentureBeat 報道，大約 90% 的機器學習模型從未投入生產。換句話說，數據科學家的工作只有十分之一能夠真正產出對公司有用的東西。

本文最初發布于 Towards Data Science，由 InfoQ 中文站翻譯并分享。

大多數機器學習模型從未部署。圖片由作者提供。

企業正在經歷艱難時期。我說的不是病毒流行和股市波動。

時代變幻莫測，僅僅增加客戶體驗流暢度和沉浸感并不能減輕企業的壓力。在這種情況下，投入 數十億美元 開發可以改進產品的機器學習模型就可以理解了。

但有一個問題。公司不能只是把錢砸在數據科學家和機器學習工程師身上，就希望可以有奇跡發生。

有數據為證。據 VentureBeat 報道，大約 90% 的機器學習模型從未投入生產。換句話說，數據科學家的工作只有十分之一能夠真正產出對公司有用的東西。

盡管 十分之九 的科技高管相信，人工智能將成為下一次科技革命的中心，但人工智能的采用和部署尚未獲得長足的發展，而這不能怪數據科學家。

企業尚未準備好采用機器學習

領導支持并不意味著投錢多

數據科學家的 就業市場非常好。企業在招聘，而且也已經準備好支付高薪。

當然，管理人員和企業負責人期望這些數據科學家能帶來巨大的價值。然而，就目前而言，他們并沒有為此提供便利。

GAP 數據分析高級副總裁 Chris Chapo表示：“有時人們會想，我所需要做的只是針對一個問題投入資金或技術，成功就會到來。”

為了幫助數據科學家在工作中發揮出色的作用，領導者不僅需要將資源引向正確的方向，還需要了解機器學習模型是干什么的。一個可能的解決方案是，讓領導者們自己接受一些數據科學的入門培訓，這樣他們就可以在公司里把這些知識付諸實踐。

數據訪問難度大

公司不擅長收集數據。許多公司都是高度筒倉化的，這意味著每個部門都有自己收集數據的方式、首選格式、存儲位置以及安全和隱私偏好。

另一方面，數據科學家經常需要來自多個部門的數據。筒倉化增加了清理和處理這些數據的難度。此外，許多數據科學家 抱怨，他們甚至無法獲得他們需要的數據。如果你沒有必要的數據，怎么開始訓練一個模型呢？

也許在過去，筒倉化的公司結構——以及無法訪問的數據——便于管理。但在一個技術飛速變革的時代，企業將需要加快步伐，在整個過程中建立起統一的數據結構。

對于數據科學家來說，能夠獲取所需的數據至關重要。圖片由作者提供。

IT、數據科學和工程脫節

如果公司的目標是減少“筒倉”，這就意味著各部門需要更多地相互溝通，調整各自的目標。

在許多公司中，IT 部門和數據科學部門之間存在著 根本性的分歧。IT 傾向于優先考慮讓事情正常運轉并保持穩定。另一方面，數據科學家喜歡實驗和破壞東西。這會導致溝通困難。

此外，對于數據科學家來說，工程并非總是必不可少的。這是一個問題，因為工程師有時候可能無法了解數據科學家所設想的所有細節，或者可能會由于溝通錯誤而改變實現方式。因此，正如 StackOverflow 指出 的那樣，能夠部署模型的數據科學家比那些不能部署模型的數據科學家更有競爭優勢。

機器學習模型自身面臨的挑戰

擴展比你想象的要難

模型在小環境中工作得很好，并不意味著它在任何地方都可以工作得很好。

首先，可能沒有處理更大數據集的硬件或云存儲空間可供使用。此外，在規模很大時，機器學習模型的模塊并不總是像規模較小時那么有效。

最后，數據獲取可能比較困難，甚至不可能。正如前面所討論的，這可能是由于公司的筒倉結構，也可能是由于在獲取更多數據時遇到的其他挑戰。

這也是在組織之間統一數據結構、鼓勵不同部門之間進行交流的另一個原因。

重復工作

在部署機器學習模型的漫長道路上，超過四分之一 的企業都存在重復工作。

例如，軟件工程師可能會按數據科學家的說法進行實現。后者可能也會繼續，自己做一些工作。

這不僅浪費時間和資源，而且，當涉眾不知道使用了哪個版本的代碼，在遇到任何錯誤時就不知道應該向誰求助，這會導致額外的混亂。

如果數據科學家能夠實現他們的模型，這是他們的優勢，但對于誰做什么，他們應該與工程師溝通清楚。這樣，就可以節省公司的時間和資源。

有效溝通對于機器學習模型正常運行至關重要。圖片由作者提供。

高管們可能會不認可

總體來說，技術高管 非常相信 人工智能的力量，但這并不意味著他們會同意所有的想法。據 Algorithmia 報道，三分之一的企業高管將糟糕的部署統計數據歸咎于缺乏高層支持。

似乎人們仍然認為數據科學家有點書呆子氣，缺乏商業意識。為此，數據科學家應加強他們的業務技能，并盡可能尋求與高管的對話。

當然，這并不意味著每個數據科學家需要 MBA 學位才能勝任他們的工作。然而，從課程或業務經驗中學習一些關鍵知識可能會對他們有長遠的幫助。

不能跨語言且缺少框架支持

由于機器學習模型仍處于起步階段，不同的語言和框架仍有相當大的差距。

有些管道開始時是 Python 開始，中間是 R，最后是 Julia。有的則相反，或者完全使用其他語言。由于每種語言都有自己獨特的庫和依賴項，項目很快就變得很難跟蹤。

此外，有些管道可能會使用 Docker 和 Kubernetes 進行容器化，其他管道可能不會。有些管道將部署特定的 API，其他管道則不會。這樣的例子不勝枚舉。

為了彌補這種不足，像 TFX、Mlflow 和 Kubeflow 這樣的工具出現了。但這些工具仍處于起步階段，到目前為止，這方面的專家還很少。

數據科學家們知道，他們需要不斷了解自己領域的最新進展。這應該也適用于模型部署。

版本控制和再現仍面臨挑戰

與上述問題相關的是，到目前為止，機器學習模型版本控制還沒有一種可行的方法。顯然，數據科學家需要跟蹤他們所做的任何更改，但現在這相當麻煩。

此外，數據集可能會隨時間漂移。隨著公司和項目的發展，這是很自然的，但這使得再現過去的結果變得更加困難。

更重要的是，一旦項目啟動，就會建立一個基準，用于現在和將來對模型進行測試。結合版本控制，數據科學家可以再現他們的模型。

如果模型不可再現，就會導致漫長的調查研究。圖片由作者提供。

停止嘗試，開始部署

如果數據科學家 90% 的努力都沒有結果，這可不是一個好現象。這不是數據科學家的錯，如上所述，這是由于組織結構上固有的障礙。

變革不是一天能完成的。對于剛剛開始接觸機器學習模型的公司，建議他們從一個非常小而簡單的項目開始。

一旦管理者勾勒出一個清晰而簡單的項目，第二步就是選擇合適的團隊。這個團隊應該是跨職能的，應該包括數據科學家、工程師、DevOps 和任何其他看起來對于獲得成功至關重要的角色。

第三，在開始的時候，管理者應該考慮利用第三方來幫助他們加速這個過程。IBM 是提供這種服務的公司之一，但市場上也有其他公司。

最后一點是，切莫不惜一切代價追求先進。如果一個簡單的低成本模型能滿足 80% 的客戶需求，并能在幾個月內交付，這已經是一個了不起的成就了。此外，從構建簡單模型積累的經驗將有助于實現更復雜的模型，并有望使客戶百分之百滿意。

結論：革命需要時間

下一個十年注定是革命性的，就像上一個十年一樣。人工智能的廣泛應用只是 眾多發展趨勢 中的一個，物聯網、高級機器人技術和區塊鏈技術也在興起。

我說的是幾十年，而不是幾年。例如，考慮到 90% 的公司都 已上云——如此之多，以至于我們很難想象沒有云我們怎么生活。而另一方面，云是花了 幾十年時間 才被廣泛地采用。

我們沒有理由認為人工智能革命會有任何不同。它需要一段時間才能推廣開，因為目前還有許多需要解決的障礙。

但是，由于機器學習提供了如此多的方法來改善客戶體驗和企業效率，顯然，贏家將是那些快速并盡早部署模型的公司。

本文轉自 公眾號：AI前線 ，作者Rhea Moutafis，點擊閱讀原文

審核編輯：符乾江