數據科學家與DevOps工程師相互協作可以獲得更好的業務成果，但了解他們的不同需求是關鍵。

數據科學家與軟件開發人員有一些共同的實踐和需求。數據科學家和軟件工程師都計劃、構建、編碼、迭代、測試和部署代碼來實現他們的目標。對于軟件開發人員來說，這通常意味著自定義編碼應用程序和微服務;數據科學家實現與數據操作的數據集成，通過分析模型進行預測，并創建儀表板以幫助最終用戶導航結果。

那些尋求自動化，并與運營工程師開展合作的Devops工程師應該擴大其業務范圍，并向數據科學家提供服務。

擁有多個數據科學團隊的大型組織可能會投資于Alteryx Analytics、Databricks、Dataiku等數據科學平臺，這些平臺提供了用于開發、測試和部署分析模型的混合工具。這些工具在數據集和分析功能、集成選項、治理、業務用戶工具和部署選項上展開激烈的競爭。

DevOps對數據科學家的要求與應用程序開發人員不同

并非每個組織都對投資數據科學平臺做好了準備，或者可能只需要基本操作能力的小型數據科學團隊。在這些情況下，最好將DevOps最佳實踐應用于數據科學團隊，而不是選擇和使用平臺。

為此，許多用于軟件開發團隊的敏捷和開發范例可以應用于數據科學工作流程，并進行一些重大調整。雖然數據科學家的流程與開發人員的工作流程類似，但存在一些重要的區別。

?數據科學工作需要圍繞數據集、模型和配置進行更多實驗。這不是大多數軟件開發商發布管理實踐遵循的簡單計劃、構建、測試、部署周期。

?開發和測試模型可能無法使用統一的計算堆棧。一些模型可以使用簡單的Python腳本實現，而其他模型可以使用Apache Spark和其他大數據平臺。

?即使模型處于開發階段，計算需求也會有很大差異。例如，一位數據科學家想要針對一個大數據集測試一個模型的六個變體，與另一位在一個規模較小數據集測試一個模型的數據科學家相比，需要更多的計算能力和存儲容量。

?部署到生產中的模型也需要持續維護，但除了更改底層代碼之外，還有更多變量。模型還需要使用更新的數據集進行重新訓練、重新配置操作參數以及調整基礎設施，所有這些都可能觸發新的部署。

?監控數據管道通常需要更復雜的驗證。知道數據操作過程正在運行，并且模型正在處理數據是不夠的。這些工具一旦投入生產，就必須對吞吐量、錯誤條件、數據源異常以及可能影響下游結果的其他條件進行監控。

?要想取得成功，數據科學家必須與開發人員、工程師、業務負責人合作，這與在應用程序開發中鞏固開發人員和操作人員之間的協作相比，可能是一項更艱巨的任務。此外，許多數據科學家和團隊可能不會向IT組織報告，因此更難為這些組織制定標準和治理。

在開始采用DevOps實踐和解決方案之前，支持數據科學家需要了解這些和其他差異。

從數據科學家的經驗開始

與應用程序開發人員一樣，數據科學家最感興趣的是解決問題，他們非常關注配置工具，但對配置基礎設施的興趣往往更少。與軟件開發人員不同，數據科學家可能沒有相同的經驗和背景來充分配置他們的開發工作流程。這為DevOps工程師提供了一個將數據科學家視為客戶，幫助他們定義需求，以及擁有交付解決方案所有權的機會。

這可以從數據科學家需要的基礎設施開始。他們是用Python、R還是其他語言編寫代碼？他們使用什么工具（Jupyter、Tableau、Apache Kafka和NLTK）進行分析和建模？他們使用哪些數據庫和云平臺作為數據源，用于存儲經過訓練的數據，以及用于部署模型？

為此，DevOps工程師可以幫助數據科學家選擇和標準化開發環境。這通常可以在計算設備或虛擬桌面上完成。無論哪種方式，將他們的應用程序和配置鏡像到開發環境是與數據科學家進行合作的重要的第一步。

在此之后，DevOps工程師應該檢查數據科學家存儲代碼的位置、代碼的版本控制方式，以及代碼如何為部署打包。例如，一些數據科學家對使用版本控制工具（如Git）相對較新;另一些數據科學家可能使用代碼庫，但沒有實現自動化集成。實現持續集成是DevOps工程師幫助數據科學家的第二個方面，因為它創建了標準，并刪除了測試新算法的一些人工工作。

需要記住的一點是，某些SaaS和企業數據平臺可能具有內置版本控制，并且不會自然地與為代碼設計的版本控制系統接口。其中許多平臺都有API來觸發集成和部署或其他可以模仿持續集成（CI）/持續交付（CD）管道的機制。

定義部署管道并配置基礎架設施

在開發環境和持續集成標準化的情況下，DevOps工程師應該考慮自動化測試和生產環境的其他方面。這可以通過使用Jenkins等工具引入部署管道，并使用Chef、Puppet、Ansible或其他工具將基礎設施配置為代碼來實現。

數據科學環境也是Docker等容器以及Kubernetes等容器管理和編排工具的有力候選者。數據科學環境通常是數據操作、數據管理和數據建模平臺的組合，這些平臺需要作為集成環境進行部署和管理。

了解運行數據集成、機器學習培訓和其他數據分析工作的規模和頻率至關重要。DevOps工程師很可能會發現多種模式，因為數據科學家混合了不同的工作負載，例如，對部分數據集頻繁測試新模型、計劃運行以重新培訓生產機器學習模型，以及培訓新分析模型的特殊工作。這些工作負載類型應該幫助DevOps工程師決定如何最好地配置和擴展云計算基礎設施，以滿足不同的計算和存儲需求。

開發人員、DevOps工程師和數據科學家還應該就業務成果進行協作。

實現DevOps的最重要方面是促進具有沖突目標的開發人員和DevOps工程師之間的協作。開發人員經常面臨著更改應用程序的壓力，DevOps工程師需要對生產工作流的性能和可靠性負責。讓開發人員和工程師在自動化和標準化配置方面進行協作可以實現這兩個目標。

數據科學家是這次合作的第三方。他們經常面臨向高管和業務經理提供分析結果的壓力。其他時候，他們正在開發模型，希望開發人員在他們的應用程序中使用這些模型。他們對可變容量基礎設施有著強烈的需求，在試驗新平臺、庫和基礎設施配置時，他們可能比開發人員要求更高。

數據科學家需要與開發人員和工程師建立這種合作關系，以提供成功的分析成果。而了解他們的目標、定義目標以及在DevOps實現上進行合作是這些團隊如何協作和交付業務成果。

責任編輯：ct