谷歌在其AI博客上介紹了一款基于AI和深度學習的圖像標注方式“流體標注”，可作為人工標注者的有力輔助工具，將標記數(shù)據(jù)集的生成速度提升至現(xiàn)在的3倍，有望緩解目前機器學習研究中，高質(zhì)量的訓練數(shù)據(jù)獲取難的瓶頸。

基于深度學習的現(xiàn)代計算機視覺模型（比如由TensorFlow對象檢測API實現(xiàn)的模型）的性能取決于是否可以使用規(guī)模越來越大的標記訓練數(shù)據(jù)集（如公開的圖像）進行訓練。

然而，如何獲得高質(zhì)量的訓練數(shù)據(jù)，正迅速成為計算機視覺領(lǐng)域的主要瓶頸。這對于自動駕駛、機器人和圖像搜索等應(yīng)用中使用的語義分段的像素預(yù)測任務(wù)而言尤其如此。

實際上，傳統(tǒng)的手動數(shù)據(jù)標記工具，需要標記者仔細點擊圖象邊界，來劃定圖像中的每個對象，這很乏味：在COCO + Stuff數(shù)據(jù)集中，標記一個圖像需要19分鐘，而標記整個數(shù)據(jù)集需要53000小時！

COCO數(shù)據(jù)集中的圖像示例（左）及其逐像素語義標記（右）。圖片來源：Florida Memory

本文中的內(nèi)容將在2018年ACM多媒體會議“勇敢新理念”環(huán)節(jié)中展示，谷歌的研究人員研究了一種機器學習驅(qū)動的界面，可用于標注分類數(shù)據(jù)，劃定圖像中每個目標的輪廓和背景，讓標記數(shù)據(jù)集的生成速度提高至原來的3倍。

該工具名為流體標注（Fluid Annotation），從強語義分割模型的輸出開始，人工標記者可以使用自然用戶界面，通過機器輔助編輯操作進行修改。谷歌此次開發(fā)的界面可以讓標記者選擇要修改的內(nèi)容和順序，使他們能夠高效地將精力集中在機器尚不了解的內(nèi)容上。

對COCO數(shù)據(jù)集中圖像使用流體標注界面的可視化。圖片來源：gamene

更確切地說，為了對圖像進行標記，我們首先通過預(yù)訓練的語義分割模型（Mask-RCNN）來處理圖像。這會生成約1000個圖像片段及其分類標簽和置信度分數(shù)。置信度分數(shù)最高的片段用于對標簽的初始化，呈現(xiàn)給標記者。

然后，標記者就可以：（1）從機器生成的候選標簽中為當前片段選擇標簽。（2）對機器未覆蓋到的對象添加分割段。機器會識別出最可能的預(yù)生成段，標記者可以從中選擇質(zhì)量最高的一個。（3）刪除現(xiàn)有段。（4）改變重疊段的深度順序。（Demo鏈接在此：https://fluidann.appspot.com/，僅限桌面平臺）

使用傳統(tǒng)手動標記（中列）和流體標注（右）在COCO數(shù)據(jù)集的三張圖像上進行標記的比較。雖然使用手動標記工具時，目標的邊界一般更準確，但標記差異的最大原因是人類標記者通常對某一確切的對象分類有不同意見。來源：sneaka（上），Dan Hurt（中），Melodie Mesiano（下）。

流體標注是讓圖像標注變得更快、更容易的第一步探索。未來的目標是改進對目標邊界的標記，進一步利用機器智能提升界面的速度，最終實現(xiàn)對界面的擴展，能夠處理以前無法識別的分類，實現(xiàn)最高效、需求最大的數(shù)據(jù)收集。

而實際上，關(guān)于這款工具的論文的預(yù)印本早在近一個月前就發(fā)在了arxiv上。