2018年還剩20天，人工智能的熱度一點沒減。除了下圍棋、認人臉，人工智能究竟發展到了什么地步？匯總各領域學術論文最先進成果，今天，讓我們來看計算機視覺和自然語言處理這兩個領域AI進展的真實情況。

2018年，人工智能熱度不減，成果不斷。

雖然少了去年動輒“超越人類”的銳氣，但“輔助人類”的人工智能，如今究竟發展到什么程度？就讓我們在2018即將結束的時候，來一個簡單的回顧。

拋開劑量談毒性是耍流氓，拋開數據集和特定任務談人工智能進展也一樣。“state of the art.ai”是MIT和UNAM的學生做的一個網站，收進了目前最優的算法，涵蓋了計算機視覺、游戲、自然語言處理、網絡圖和知識庫、程序歸納和程序合成、音頻處理、時間序列處理七個領域。

下面，我們就根據已經發表的科研論文，先來看看計算機視覺和自然語言處理這兩大AI領域的情況。

計算機視覺

3D/3D Reconstruction

“3D”可以說是眼下CV領域最火的一個詞。今年各家智能手機宣傳里都提到了“3D結構光”。那么，3D視覺發展到了什么程度？

2017年的CVPR，MIT、馬薩諸塞大學阿默斯特分校和谷歌DeepMind的研究人員展示了一項成果，使用自動編碼器（VAE），構建了一個名叫SingleVPNet的框架，能從多個視角的深度圖或其相應的輪廓（silhouette）學習生成模型，并使用渲染函數從這些圖像生成細節精致的3D形狀。

不僅如此，他們提出的框架還能通過綜合不同視角的2D深度圖（甚至在有遮擋的情況下），生成新的3D形狀。

SingleVPNet在3D形狀數據集SharpNetCore上取得了平均誤差0.35的結果。換句話說，生成逼真的3D形狀還有一段距離。

補充，SharpNetCore是ShapeNet的一個子集，目前包括55個常見對象類別（覆蓋了計算機視覺領域常用的3D基準數據集PASCAL 3D+的12個對象類別），約有51300個獨特的3D模型，每個模型都有手動驗證的類別和對齊注釋，由普林斯頓、斯坦福和豐田技術研究所（TTIC）的研究人員共同創建。

動作識別

動作識別指從視頻中識別不同的動作，這個動作可能貫穿整個視頻，也可能不會。動作識別是圖像識別的擴展，涉及從多幀視頻中進行圖像識別，然后從每一個幀中聚集預測結果。

2017年的NeurIPS，CMU機器人學院的研究人員Rohit Girdhar 和 Deva Ramanan 利用注意力機制（Attentional Pooling），在保持網絡復雜度和計算量基本不變的情況下，在三個靜態圖像和視頻標準動作識別數據集上提升了動作識別的基準。其中，在MPII人體姿態數據集上取得了12.5％的相對改進。

不過，看絕對值，平均精度還停留在52.2個百分點上面。

人臉識別

根據美國國家標準與技術研究院（NIST）今年11月16日公布的結果，在被譽為工業界“黃金標準”的全球人臉識別算法測試（FRVT）中，依圖科技以千萬分之一誤報下的識別準確率超過99%，繼續保持全球人臉識別競賽冠軍。

千萬分位誤報下的識別準確率超過99%，意味著更多核心關鍵的安防場景被解鎖。相比于去年同期，全球人臉識別性能提升了80%。

值得一提，在這份官方公布的報告中，中國人工智能公司實力展現，依圖科技（yitu）、商湯科技（sensetime）、曠視科技（megvii）囊括了前十中的五席，加上排名第五的中國科學院深圳先進技術研究院（siat），中國團隊已經超過半數，并穩穩“霸屏”前五，領跑全球人臉識別算法。

人體姿態估計

今年2月，上海交通大學盧策吾團隊MVIG實驗室AlphaPose 系統上線，是首個在 COCO 數據集上可達到 70+ mAP 的開源姿態估計系統。

今年9月，AlphaPose系統升級，采用 PyTorch 框架，在姿態估計標準測試集COCO validation set上，達到 71mAP的精度（比 OpenPose 相對提升17%，Mask-RCNN相對提升8%），同時，速度達到了20FPS（比 OpenPose 相對提高66%，Mask-RCNN相對提高300%）。

AlphaPose系統，是基于上海交大MVIG組提出的 RMPE 二步法框架（ICCV 2017論文）構建的，相比其他開源系統在準確率有很大提高，比OpenPose相對提高17%，Mask-RCNN相對提高8.2%。

升級后，各個開源框架在COCO-Validation上性能，時間在單卡1080ti GPU測出指標如下：

圖像分類

計算機在圖像分類任務上的精度早已超越了人類，因此當前圖像分類精度的最好成績，往往是其他研究的副產物。ICLR 2017，谷歌大腦 Barret Zoph 和 Quoc V. Le 發表了“Neural Architecture Search with Reinforcement Learning”，他們用強化學習自動搜索神經網絡結構，最終AI自己設計出的模型，在 CIFAR-10數據集上做圖像分類取得了96.35%的精度。

或許令人意外，圖像分類目前最好結果是Facebook AI Research的Benjamin Graham在他2015年Arxiv論文“Fractional Max-Pooling”中得到的，經過100次測試后在CIFAR-10上誤差僅為3.47%。這篇論文提出了一種新的fractional max-pooling方法，降低了各種數據集上的過擬合。

圖像生成

說到圖像生成，那自然就是生成對抗網絡（GAN）。

GAN在今年不斷發展，今年ICLR DeepMind 提出的 BigGAN，可謂當前最強圖像生成模型，在128x128分辨率的ImageNet上訓練，BigGAN的Inception 分數（IS）可以達到 166.3 ，Frechet Inception 距離（FID）9.6。

關于BigGAN更詳細的介紹看這里。

未來GAN還能提升到什么程度，值得期待！

圖像分割

是的，圖像分割王者是何愷明等人2017年提出的Mask-RCNN，mAP值26.2。

2018年8月，密歇根大學和谷歌大腦的研究人員合作，提出了一種圖像語義分層處理框架，可以實現像素級別的圖像語義理解和操縱，在圖像中任意添加、改變、移動對象，并與原圖渾然一體，實現真正的“毫無PS痕跡”。

雖然相關論文還未經過同行評議，但是根據上述研究人員在Arxiv論文匯報的結果，他們在圖像分割上更勝一籌。

自然語言處理

分類/語義相似度/語法/電影評論/語義等價/問答/實體識別

BERT這個名字近來在NLP領域可謂是紅紅火火。

10月13日，谷歌AI團隊新發布的BERT模型，在機器閱讀理解頂級水平測試SQuAD1.1中表現出驚人的成績：全部兩個衡量指標上全面超越人類！并且還在11種不同NLP測試中創出最佳成績，包括將GLUE基準推至80.4％（絕對改進7.6％），MultiNLI準確度達到86.7% （絕對改進率5.6％）等。

谷歌團隊的Thang Luong直接定義：BERT模型開啟了NLP的新時代！

BERT的新語言表示模型，它代表Transformer的雙向編碼器表示。與最近的其他語言表示模型不同，BERT旨在通過聯合調節所有層中的上下文來預先訓練深度雙向表示。因此，預訓練的BERT表示可以通過一個額外的輸出層進行微調，適用于廣泛任務的最先進模型的構建。

如前文所述，BERT在11項NLP任務中刷新了性能表現記錄！在此舉出其中一項結果。

GLUE測試結果，由GLUE評估服務器給出。每個任務下方的數字表示訓練樣例的數量。“平均”一欄中的數據與GLUE官方評分稍有不同，因為我們排除了有問題的WNLI集。BERT 和OpenAI GPT的結果是單模型、單任務下的數據。所有結果來自https://gluebenchmark.com/leaderboard和https://blog.openai.com/language-unsupervised/

SQuAD 結果。BERT 集成是使用不同預訓練檢查點和微調種子（fine-tuning seed）的 7x 系統。

CoNLL-2003 命名實體識別結果。超參數由開發集選擇，得出的開發和測試分數是使用這些超參數進行五次隨機重啟的平均值。

總體而言，BERT模型在NLP領域中的多項任務取得目前最佳效果，包括

分類、語義相似度、語法、電影評論、語義等價、問答、實體識別等等。

常識推理

在常識推理方面(Commensense Inference)，目前取得最先進水平的是Antonio Lieto等人于2017年發布的文章：Dual PECCS: a cognitive system for conceptual representation and categorization。

當然，該篇文章的結果在概念分類準確率(Concept Categorization Accuracy)上目前最佳，為89；但在Dev和Test準確率方面，目前依舊BERT模型結果最佳，分別為86.6和86.3。

機器翻譯

在機器翻譯任務中(Machine Translation)，目前取得最佳結果來自于Zhen Yang等人于今年4月在Arxiv上發布的文章：

該文章的算法主要結合了Transformer+BR-CSGAN，在BLEU上取得的評分結果為43.01，為目前最佳結果。

自然語言推斷

在自然語言推斷(Natural Language Inference)任務中，目前最佳結果來自于Yichen Gong等人于今年5月在Arxiv上發布的文章：

該論文采用的算法是DIIN，在準確率方面目前為89.84，目前處于最佳水平。

以上是計算機視覺和自然語言處理兩個領域的最新發展情況。想要了解AI其它領域中各任務目前取得的最佳結果可以參考如下鏈接：

https://www.stateoftheart.ai/