實(shí)戰(zhàn)中的技術(shù)進(jìn)階，必需要了解深度學(xué)習(xí)的最新進(jìn)展。換句話說，就是刷論文：除了定期刷Arxiv，刷代表性工作的Google Scholar的引用，關(guān)注ICCV、CVPR和ECCV等頂級(jí)會(huì)議之外，知乎的深度學(xué)習(xí)專欄和Reddit上時(shí)不時(shí)會(huì)有最新論文的討論（或者精彩的吐槽）。

一些高質(zhì)量的公眾號(hào)，例如Valse前沿技術(shù)選介、深度學(xué)習(xí)大講堂、Paper Weekly等，也時(shí)常有深度學(xué)習(xí)前沿技術(shù)的推送，也都可以成為信息獲取的來源。同時(shí)，關(guān)注學(xué)術(shù)界大佬LeCun和Bengio等人的Facebook/Quora主頁，關(guān)注微博大號(hào)“愛可可愛生活”等人，也常有驚喜的發(fā)現(xiàn)。

建議關(guān)注的重點(diǎn)：

新的網(wǎng)絡(luò)結(jié)構(gòu)。在以SGD為代表的深度學(xué)習(xí)優(yōu)化方法沒有根本性突破的情況下，修改網(wǎng)絡(luò)結(jié)構(gòu)是可以較快提升網(wǎng)絡(luò)模型精度的方法。2015年以來，以ResNet的各種改進(jìn)為代表的各類新型網(wǎng)絡(luò)結(jié)構(gòu)如雨后春筍般涌現(xiàn)，其中代表性的有DenseNet、SENet、ShuffuleNet等。

新的優(yōu)化方法。縱觀從1943年MCP模型到2017年間的人工神經(jīng)網(wǎng)絡(luò)發(fā)展史，優(yōu)化方法始終是進(jìn)步的靈魂。以誤差反向傳導(dǎo)（BP）和隨機(jī)梯度下降（SGD）為代表的優(yōu)化技術(shù)的突破，或是Sigmoid/ReLU之后全新一代激活函數(shù)的提出，都非常值得期待。筆者認(rèn)為，近期的工作如《Learning gradient descent by gradient descent》以及SWISH激活函數(shù)，都很值得關(guān)注。但能否取得根本性的突破，也即完全替代當(dāng)前的優(yōu)化方法或ReLU激活函數(shù)，尚不可預(yù)測(cè)。

新的學(xué)習(xí)技術(shù)。深度強(qiáng)化學(xué)習(xí)和生成對(duì)抗網(wǎng)絡(luò)（GAN）。最近幾周刷屏的Alpha Zero再一次展示了深度強(qiáng)化學(xué)習(xí)的強(qiáng)大威力，完全不依賴于人類經(jīng)驗(yàn)，在圍棋項(xiàng)目上通過深度強(qiáng)化學(xué)習(xí)“左右互搏”所練就的棋力，已經(jīng)遠(yuǎn)超過上一代秒殺一眾人類高手的AlghaGo Master。同樣的，生成對(duì)抗網(wǎng)絡(luò)及其各類變種也在不停地預(yù)告一個(gè)學(xué)習(xí)算法自我生成數(shù)據(jù)的時(shí)代的序幕。筆者所在的公司也正嘗試將深度強(qiáng)化學(xué)習(xí)和GAN相結(jié)合，以此用于跨模態(tài)的訓(xùn)練數(shù)據(jù)的增廣。

新的數(shù)據(jù)集。數(shù)據(jù)集是深度學(xué)習(xí)算法的練兵場(chǎng)，因此數(shù)據(jù)集的演化是深度學(xué)習(xí)技術(shù)進(jìn)步的縮影。以人臉識(shí)別為例，后LFW時(shí)代，MegaFace和Microsoft Celeb-1M數(shù)據(jù)集已接棒大規(guī)模人臉識(shí)別和數(shù)據(jù)標(biāo)簽噪聲條件下的人臉識(shí)別。后ImageNet時(shí)代，Visual Genome正試圖建立一個(gè)包含了對(duì)象、屬性、關(guān)系描述、問答對(duì)在內(nèi)的視覺基因組。