一個機器學習項目中，從單一的模型訓練中獲得良好的結果是一回事，但是保持所有的機器學習實驗僅僅有條，并且有一個流程能讓你從中得出有效的結論又是另一回事。

近日，數據科學家Pawe Kijko在一篇博文中介紹了15個跟蹤機器學習實驗的最佳工具，并且解釋了作為數據科學家和機器學習工程師，為什么需要一個工具來跟蹤機器學習實驗，以及可使用的最佳軟件是什么。

原文如下：

跟蹤機器學習實驗的工具——誰需要它們，為什么？

數據科學家

在許多組織中，機器學習工程師和數據科學家傾向于單獨工作。這使得一些人認為，只要他們能夠交付最后一個模型，跟蹤他們的實驗過程并不是那么重要。

在某種程度上這是正確的，但是當您想回到某個想法，重新運行幾個月前的模型，或者簡單地比較和可視化運行之間的差異時，用于跟蹤ML實驗的系統或工具的需求就顯現出來了。

數據科學家團隊

跟蹤ML實驗的專門工具對整個數據科學家團隊很有效。它允許數據科學家們能夠看到其他人在做什么、分享想法和見解、存儲實驗元數據，在需要的時候檢索和分析它們。

它使團隊合作更加高效，避免了幾個人一起做同一項任務的情況，并使新成員更容易融入團體。

管理者/業務人員

跟蹤軟件提供了一個讓其他成員，如經理或業務利益相關者參與機器學習項目的機會。

由于可以準備可視化效果、添加注釋和共享工作，因此，管理者及其同事可以輕松地跟蹤進度并與機器學習團隊合作。

1. Neptune

Neptune是市場上最輕量級的實驗管理工具。對于任何數據科學家來說，這都是一個出色的跟蹤平臺。

該軟件可以輕松地與工作流程集成，并提供廣泛的跟蹤功能。人們可以使用它來跟蹤、檢索和分析實驗，也可以與團隊和管理者共享實驗結果。

此外，Neptune非常靈活，可以與許多其他框架一起使用，并且由于其穩定的用戶界面，它具有出色的可伸縮性（可運行數百萬次）。

主要優點：

可以存儲，檢索和分析大量數據

高效團隊協作和項目監督的工具

隨附Jupyter筆記本追蹤

2. Weights & Biases

Weights & Biases針對最先進的深度學習團隊。使他們能夠記錄實驗并可視化每個研究部分。Weight＆Biases的創建是為了促進數據科學家之間的協作，并在此問題上提供了許多有用的功能，所有這些都是精心設計的。

主要優點：

專為深度學習實驗跟蹤而創建

易于集成整個過程

可定制的可視化和報告工具

3. Comet

與先前描述的工具類似，Comet的構建是為了跟蹤機器學習項目。該軟件的設計團隊的任務是幫助數據科學家更好地組織和管理實驗。Comet提供了輕松比較實驗并保留收集的數據記錄以及與其他團隊成員進行協作的可能性。

主要優點：

能夠快速適應任何機器

能夠很好地與現有的ML庫兼容

保障知識產權

4. Sacred + Omniboard

“每個實驗都是神圣的……”就像他們在神圣的工具描述中說的那樣。

Sacred是開源軟件，它允許機器學習工程師配置、組織、記錄和復制實驗。Sacred沒有合適的用戶界面，但是可以連接到一些儀表盤工具，比如Omniboard， Sacredboard或者Neptune。

此外，它沒有以前的工具的可伸縮性，也沒有適應團隊協作，但是，在個人研究方面，它具有巨大的潛力。

主要優點：

開源工具

廣泛的實驗參數定制選項

易于集成

5. MLflow

MLflow是一個開源平臺，可幫助管理整個機器學習生命周期。這包括實驗，還包括可重復性和部署。這三個元素分別由一個MLflow組件表示：跟蹤，項目和模型。

這意味著使用MLflow的數據科學家能夠跟蹤實驗，組織實驗，為其他ML工程師描述實驗并將其打包到機器學習模型中。

它旨在實現從一個人到大型組織的可擴展性，但是，它最適合單個用戶。

主要優點：

專注于機器學習過程的整個生命周期

與許多其他工具和平臺兼容

與任何ML庫或語言集成的開放界面

6. TensorBoard

TensorBoard是另一個實驗跟蹤工具。它是開源的，提供了一套工具，用于可視化和調試機器學習模型。

TensorBoard是市場上最受歡迎的解決方案，因此已與許多其他工具和應用程序廣泛集成。而且，它擁有很多工程師用戶，他們使用該軟件并分享經驗和想法。

這使得一個強大的社區準備好解決任何問題。然而，軟件本身最適合個人用戶。

主要優點：

大型的預建跟蹤工具庫

與許多其他工具和應用程序集成

有充分準備去解決問題的用戶和社區

7. guild.ai

guild.ai的開發人員指出：“你應用實驗越快越有效，你就能越早完成你的工作。”為了更好地組織這個過程，他們開發了這個開源實驗跟蹤軟件，這個軟件最適合于單個項目。

它是輕量級的，并配備了許多有用的特性，使它更容易運行、分析、優化和重新創建機器學習實驗。此外，guild.ai包含各種分析工具，使實驗比較過程更加容易。

主要優點：

自動化機器學習過程

與任何語言和庫集成

遠程訓練和備份的可能性

8. Polyaxon

Polyaxon是一個專注于機器學習項目的整個生命周期管理以及促進ML團隊協作的平臺。

它包括從跟蹤和優化實驗到模型管理和法規遵從的廣泛特性。其開發人員的主要目標是在節省成本的同時最大化結果和生產力。

但是，值得注意的是，在準備使用之前，需要將Polyaxon集成到您的infra/cloud中。

主要優點：

與最流行的深度學習框架和ML庫集成

旨在服務于不同的利益群體，包括數據科學家，團隊領導和架構師

提供了團隊協作的可能性

9. Trains

如其創建者所述，Trains的建立是為了跟蹤“訓練生產級深度學習模型的過程”。該軟件的主要重點是輕松高效地跟蹤機器學習和深度學習實驗。Trains是一個仍處于測試階段的開源平臺，但它在不斷開發和升級。

主要優點：

快速簡便的實施過程

促進團隊合作的可能性

用于跟蹤實驗過程并將數據保存到一臺集中式服務器

10. Valohai

Valohai在設計時考慮到了數據科學家的想法，它的主要好處是使模型構建過程更快。

它可以實現大規模自動化，但首先需要與基礎設施/私有云集成。

Valohai兼容任何語言或框架，以及許多不同的工具和應用程序。該軟件也是面向團隊的，并具有許多便于團隊協作的特性。

主要優點：

大大加快了模型構建過程

協助客戶服務和每月檢查

專注于機器學習的整個生命周期

11. Pachyderm

Pachyderm是一種工具，它使用戶可以控制端到端的機器學習周期。從數據沿襲到構建和跟蹤實驗，再到可擴展性選項——Pachyderm涵蓋了所有內容。

該軟件提供三種不同版本：Community Edition（開源，可以在任何地方使用），Enterprise Edition（完整的版本控制平臺）和Hub Edition（仍為beta版，結合了先前兩個版本的特性） 。

它需要與您的基礎架構/私有云集成，因此，不像前面提到的其他工具那樣輕量級。

主要優點：

可以根據自己的需要調整軟件版本

端到端流程支持

由強大的專家社區建立和支持

12. Kubeflow

Kubeflow是一款軟件，其主要目標是運行流程并簡化機器學習工作流程的部署。

它被稱為Kubernetes的機器學習工具包，旨在利用Kubernetes的潛力來促進機器學習模型的擴展。

Kubeflow背后的團隊正在不斷開發其功能，并盡最大努力使數據科學家的生活更輕松。它作為補充工具能夠與列表上的其他工具一起使用，

主要優點：

Multi-framework集成

非常適合Kubernetes用戶

Open-source character

13. Verta.ai

Verta的主要特性可以概括為四個詞：跟蹤、協作、部署和監視。

正如你所看到的，創建此軟件是為了方便管理整個機器學習生命周期。它配備了必要的工具，以協助ML團隊在過程的每個階段。然而，各種各樣的特性使得平臺更加復雜，因此不像我們提到的其他工具那樣輕量級。

主要優點：

與其他ML框架的兼容性

在端到端機器學習過程中的輔助

人性化設計

14. SageMaker Studio

SageMaker Studio是一種Amazon工具，它使數據科學家可以管理整個機器學習生命周期。從構建、訓練到部署ML模型。該軟件的設計初衷是使開發高質量實驗的過程變得更輕松、更省時。它是一個基于web的工具，并附帶了整個工具集，旨在幫助數據科學家提高他們的性能。

主要優點：

跟蹤數千個實驗的可能性

與大量與ML相關任務的Amazon工具集成

全面管理

15. DVC

最后一個項目是專門為機器學習項目創建的開源版本控制系統。其目的是使數據科學家能夠共享ML模型，并使它們具有可重復性。

DVC用戶界面可以處理大量數據的版本管理和組織，并以組織良好、可訪問的方式存儲它們。它關注于數據和管道版本控制和管理，但有一些（有限的）實驗跟蹤功能。它可以很容易地與此列表中的其他工具作為補充工具一起使用。

主要優點：

適應任何語言和框架

收集大量數據的可能性

Open-source character

后記

跟蹤機器學習實驗一直是ML開發過程中的重要一環，但在過去，它需要數據科學家付出大量的努力。跟蹤工具是有限的，因此該過程是手動且耗時的。

由于這個原因，數據科學家和工程師經常忽視機器學習生命周期的這一部分，或者創建自己的解決方案，這種情況不應該再發生了。

在過去的幾年里，跟蹤機器學習實驗的工具已經成熟了很多，且易于訪問和使用。今天列出的應用和平臺就是最好的例子，希望對數據科學家們有所助益。