目前人工智能非常火，大家所熟知的人臉識別、智能安防、自動駕駛等領域都在應用人工智能技術。但在自動駕駛這個行業中我們能用Go語言做什么事情？今天分享的主要是人工智能數據流的流轉方式，也是Golang在Momenta大數據平臺當中的應用。

Momenta 大數據平臺

Momenta的目標是打造自動駕駛大腦，基于深度學習和海量數據，Momenta已經形成服務多個場景的自動駕駛解決方案，解決了逆光、橋、隧道、雨天、夜間、匝道等復雜道路場景。

在實現自動駕駛的過程中，深度學習的算法在訓練模型時得有基礎數據作支撐，需要大量的圖像數據。借助團隊極強的研究能力與工程能力，Momenta已經建立起大數據平臺、大計算平臺、大測試平臺三大基礎平臺，從而實現大數據與AI算法的反饋閉環——以強大的計算資源處理豐富的海量數據，得到更精準、更可靠的算法模型。

其中，大數據平臺能夠完美處理自動駕駛領域的數據流，具體而言，便是處理收集數據、篩選數據、數據標注、訓練模型、模型測試、封裝發布的整個過程。

數據篩選       

上圖是車輛識別的一個典型，富有中國特色和北京特色——電動車，Momenta目前對電動車、自行車、人力三輪車、三輪電動車等，都能進行識別，并且達到很高的準確度。在人工智能數據流中，數據篩選這一步驟主要有以下作用：

降低成本：無需重復標注已經可以很好識別的素材，降低標注成本，模型運行結果可用于輔助標注；

提高模型訓練效率：去除無效素材，提取包含識別目標的素材，提高訓練效率；

提高模型訓練邊際效用：通過對極端情況（corner case）的數據進行針對性訓練，可以有效的提高模型性能。

數據標注

經過篩選之后，會有部分圖片需要人工標注。基于極強的工程能力，Momenta開發了在線遠程眾包數據標注系統，實習可視化操作，即便標注人員不懂代碼也能遠程完成各類標注任務。數據標注的作用主要是提高模型訓練精度， 獲得更多標注圖片，提取包含識別目標的素材，提高訓練精度。

模型訓練

上圖是模型訓練的流程圖，其中，在數據導入、模型訓練和模型驗證Momenta都做出了極大的創新。

數據導入：支持多種數據類型，支持多批次數據合并，支持多種組合規則；

模型訓練：多機多卡并發訓練，共享式集群、支持多人多任務同時進行，支持多種主流訓練框架，所有任務由 Kubernetes 自動調度完成；

模型驗證：訓練所得模型自動在驗證集上進行驗證，通過驗證的模型將進入模型倉庫供后續流程使用。

與傳統方式相比，Momenta采用的共享集群調度讓用戶（內部的算法研發人員）可以編寫任務描述和訓練腳本，而管理員通過網頁界面進行集群管理和工作調度。極大地節省人工成本，提高資源利用率，實現集中性管理，提高安全性。

Golang 在人工智能數據流中的應用

Golang在人工智能數據流中主要應用在篩選系統、標注系統和訓練系統。

篩選 系統

Momenta每天可能需要處理幾千萬張圖片，數據量巨大，如果逐一進行標注將給存儲帶來很大的挑戰。解決這個問題的方法就是篩選系統，通過篩選系統，我們將大的數據集拆分為小的單元，每個單元中包含小的任務，而每個單元對應一個 GPU，使用 GPU進行智能篩選。最終只有約10%的圖片時需要進行標注的，大大減少了數據標注的成本。

標注系統

Momenta為內部算法研發人員服務的標注系統，可以實現用戶管理、任務分發、計費、結算和自動審核。自動審核是比較特殊的，在一般場景和服務中用得比較少，自動審核是指用Momenta的模型來證實用戶（在平臺上兼職標注的人員）的標注結果是否符合需求或預期，主要是應付較大的用戶訪問，特別是節假日的時候。（節假日期間平臺的用戶比較閑，會希望在平臺上賺點零花錢。）

訓練系統