ML Ops 是 AI 領域中一個相對較新的概念，可解釋為「機器學習操作」。如何更好地管理數(shù)據(jù)科學家和操作人員，以便有效地開發(fā)、部署和監(jiān)視模型？其中數(shù)據(jù)質量至關重要。

本文將介紹 ML Ops，并強調數(shù)據(jù)質量在 ML Ops 工作流中的關鍵作用。

ML Ops 的發(fā)展彌補了機器學習與傳統(tǒng)軟件工程之間的差距，而數(shù)據(jù)質量是 ML Ops 工作流的關鍵，可以加速數(shù)據(jù)團隊，并維護對數(shù)據(jù)的信任。

什么是 ML Ops

ML Ops 這個術語從 DevOps 演變而來。

DevOps 是一組過程、方法與系統(tǒng)的統(tǒng)稱，用于促進開發(fā)（應用程序 / 軟件工程）、技術運營和質量保障（QA）部門之間的溝通、協(xié)作與整合。DevOps 旨在重視軟件開發(fā)人員（Dev）和 IT 運維技術人員（Ops）之間溝通合作的文化、運動或慣例。透過自動化軟件交付和架構變更的流程，來使得構建、測試、發(fā)布軟件能夠更加地快捷、頻繁和可靠。

而 MLOps 基于可提高工作流效率的 DevOps 原理和做法，例如持續(xù)集成、持續(xù)交付和持續(xù)部署。ML Ops 將這些原理應用到機器學習過程，其目標是：

更快地試驗和開發(fā)模型

更快地將模型部署到生產(chǎn)環(huán)境

質量保證

DevOps 的常用示例是使用多種工具對代碼進行版本控制，如 git、代碼審查、持續(xù)集成（CI，即頻繁地將代碼合并到共享主線中）、自動測試和持續(xù)部署（CD，即自動將代碼合并到生產(chǎn)環(huán)境）。

在應用于機器學習時，ML Ops 旨在確保模型輸出質量的同時，加快機器學習模型的開發(fā)和生產(chǎn)部署。但是，與軟件開發(fā)不同，ML 需要處理代碼和數(shù)據(jù)：

機器學習始于數(shù)據(jù)，而數(shù)據(jù)來源不同，需要用代碼對不同來源數(shù)據(jù)進行清洗、轉換和存儲。

然后，將處理好的數(shù)據(jù)提供給數(shù)據(jù)科學家，數(shù)據(jù)科學家進行代碼編寫，完成特征工程、開發(fā)、訓練和測試機器學習模型，最終將這些模型部署到生產(chǎn)環(huán)境中。

在生產(chǎn)中，ML 模型是以代碼的形式存在的，輸入數(shù)據(jù)同樣可以從各種來源獲取，并創(chuàng)建用于輸入產(chǎn)品和業(yè)務流程的輸出數(shù)據(jù)。

雖然上文的描述對該過程進行了簡化，但是仍然可以看出代碼和數(shù)據(jù)在 ML 環(huán)境中是緊密耦合的，而 ML Ops 需要兼顧兩者。

具體來說，這意味著 ML Ops 包含以下任務：

對用于數(shù)據(jù)轉換和模型定義的代碼進行版本控制;

在投入生產(chǎn)之前，對所獲取的數(shù)據(jù)和模型代碼進行自動測試;

在穩(wěn)定且可擴展的環(huán)境中將模型部署到生產(chǎn)中;

監(jiān)控模型性能和輸出。

數(shù)據(jù)測試和文檔記錄如何適配 ML Ops？

ML Ops 旨在加速機器學習模型的開發(fā)和生產(chǎn)部署，同時確保模型輸出的質量。當然，對于數(shù)據(jù)質量人員來說，要實現(xiàn) ML 工作流中各個階段的加速和質量，數(shù)據(jù)測試和文檔記錄是非常重要的：

在利益相關者方面，質量差的數(shù)據(jù)會影響他們對系統(tǒng)的信任，從而對基于該系統(tǒng)做出決策產(chǎn)生負面影響。甚至更糟的是，未引起注意的數(shù)據(jù)質量問題可能導致錯誤的結論，并糾正這些問題又會浪費很多時間。

在工程方面，急于修復下游消費者注意到的數(shù)據(jù)質量問題，是消耗團隊時間并緩慢侵蝕團隊生產(chǎn)力和士氣的頭號問題之一。

此外，數(shù)據(jù)文檔記錄對于所有利益相關者進行數(shù)據(jù)交流、建立數(shù)據(jù)合同至關重要。

下文將從非常抽象的角度介紹 ML pipeline 中的各個階段，并討論數(shù)據(jù)測試和文檔記錄如何適應每個階段。

1. 數(shù)據(jù)獲取階段

即使是在數(shù)據(jù)集處理的早期階段，從長遠來看，對數(shù)據(jù)進行質量檢查和文檔記錄可以極大地加速操作。對于工程師來說，可靠的數(shù)據(jù)測試非常重要，可以使他們安全地對數(shù)據(jù)獲取 pipeline 進行更改，而不會造成不必要的問題。同時，當從內部和外部上游來源獲取數(shù)據(jù)時，為了確保數(shù)據(jù)出現(xiàn)未預料的更改，在獲取階段進行數(shù)據(jù)驗證是非常重要的。

2. 模型開發(fā)

本文將特征工程、模型訓練和模型測試作為核心模型開發(fā)流程的一部分。在這個不斷迭代的過程中，圍繞數(shù)據(jù)轉換代碼和支持數(shù)據(jù)科學家的模型輸出提供支持，因此在一個地方進行更改不會破壞其他地方的內容。

在傳統(tǒng)的 DevOps 中，通過 CI/CD 工作流進行持續(xù)的測試，可以快速地找出因代碼修改而引入的任何問題。更進一步，大多數(shù)軟件工程團隊要求開發(fā)人員不僅要使用現(xiàn)有的測試來測試代碼，還要在創(chuàng)建新功能時添加新的測試。同樣，運行測試以及編寫新的測試應該是 ML 模型開發(fā)過程的一部分。

3. 在生產(chǎn)中運行模型

與所有 ML Ops 一樣，在生產(chǎn)環(huán)境中運行的模型依賴于代碼和輸入數(shù)據(jù)，來產(chǎn)生可靠的結果。與數(shù)據(jù)獲取階段類似，我們需要保護數(shù)據(jù)輸入，以避免由于代碼更改或實際數(shù)據(jù)更改而引起的不必要問題。同時，我們還應該圍繞模型輸出進行一些測試，以確保模型繼續(xù)滿足我們的期望。

尤其是在具有黑盒 ML 模型的環(huán)境中，建立和維護質量標準對于模型輸出至關重要。同樣地，在共享區(qū)域記錄模型的預期輸出可以幫助數(shù)據(jù)團隊和利益相關者定義和傳達「數(shù)據(jù)合同」，從而增加 ML pipeline 的透明度和信任度。

原文鏈接：https://greatexpectations.io/blog/ml-ops-data-quality/
責編AJX