圖4 圖像著色的深度學習網絡結構和效果。輸入黑白圖像后即分為兩支，上側一支用于圖像著色，下側一支用于圖像分類。在圖中紅色部分（Fusion layer），兩支的深度特征信息進行融合，由于包含了分類網絡特征，因此可以起到“用分類結果為依據輔助圖像著色”的效果

看圖說話（Image Caption）
人們常說“圖文并茂”，文字是除圖像之外另一種描述世界的方式。近期，一項名為“Image Caption”的研究逐漸升溫起來，其主要目的是通過計算機視覺和機器學習的方法實現對一張圖像自動地生成人類自然語言的描述，即“看圖說話”。一般來講，在Image Caption中，CNN用來獲取圖像的特征，接著將圖像特征作為語言模型LSTM（RNN的一種）的輸入，整體作為一個End-to-End的結構進行聯合訓練，最終輸出對圖像的語言描述（如圖5所示）。

圖5 Image Caption網絡結構。圖像作為輸入，首先經過微調后的多標記（Multi-Label）分類網絡得到預測的類別標簽，并以此連同圖像的深度特征作為下方語言模型LSTM的輸入，最終進行聯合訓練。下圖左一可完成Image Caption任務，左2為單個單詞圖像問答任務，右1為句子級別的圖像問答任務

人像復原（Sketch Inversion）
就在六月初，荷蘭科學家在arXiv上發布了他們的最新研究成果——通過深度網絡對人臉輪廓圖進行“復原”。如圖6所示，在模型訓練階段，首先對真實的人臉圖像利用傳統的線下邊緣化方法獲得對應人臉的輪廓圖，并以原圖和輪廓圖組成的“圖像對”作為深度網絡的輸入，進行類似超分辨率重建的模型訓練。在預測階段，輸入為人臉輪廓（左二Sketch），經過卷積神經網絡的層層抽象和后續的“還原”操作，可以逐步把相片般的人臉圖像復原出來（右一），與最左邊的人臉真實圖像對比，足夠以假亂真。在模型流程圖下還另外展示了一些人像復原的結果，左側一列為真實人像，中間列為畫家手工描繪的人臉輪廓圖，并以此作為網絡輸入進行人像復原，最終得到右側一列的復原結果——目測以后刑偵警察再也不用苦練美術了。

圖6 人像復原算法流程及效果

圖像自動生成
回顧剛才的四個工作，其實它們的共同點是仍然需要依靠一些“素材”方可“無中生有”，例如“人像復原”還是需要一個輪廓畫才可以恢復人像。接下來的這個工作則可以做到由任意一條隨機向量生成一張逼近真實場景的圖像。

“無監督學習”可謂是計算機視覺領域的圣杯。最近該方向的一項開創性工作是由Ian Goodfellow和Yoshua Bengio等提出的“生成對抗網絡”（Generative Adversarial Nets, GAN）。該工作的靈感來自博弈論中的零和博弈。在二元零和博弈中，兩位博弈方的利益之和為零或一個常數，即一方有所得，另一方必有所失。而GAN中的兩位博弈方分別由一個“判別式網絡”和一個“生成式網絡”充當，如圖7所示。

圖7 生成式網絡和判別式網絡

其中，“判別式網絡”的輸入為圖像，其作用為判斷一張圖像是真實的，還是由計算機生成的像；“生成式網絡”的輸入為一條隨機向量，可以通過網絡“生成”一張合成圖像。這張合成圖像亦可作為“判別式網絡”的輸入，只是此時，在理想情況下應能判斷出它是由計算機生成的。
接下來，GAN中的零和博弈就發生在“判別式網絡”和“生成式網絡”上：“生成式網絡”想方設法的讓自己生成的圖像逼近真實圖像，從而可以“騙過”“判別式網絡”；而“判別式網絡”也時刻提高警惕，防止“生成式網絡”蒙混過關……你來我往，如此迭代下去，頗有點“左右互搏”的意味。GAN整個過程的最終目標是習得一個可以逼近真實數據分布的“生成式網絡”，從而掌握整體真實數據的分布情況，因此取名“生成對抗網絡”。需要強調的是，GAN不再像傳統的監督式深度學習那樣需要海量帶有類別標記的圖像，它不需任何圖像標記即可訓練，也就是進行無監督條件下的深度學習。2016年初，在GAN的基礎上，Indico Research和Facebook AI實驗室將GAN用深度卷積神經網絡進行實現（稱作DCGAN，Deep Convolutional GAN），工作發表在國際表示學習重要會議ICLR 2016上，并在無監督深度學習模型中取得了當時最好的效果。圖8展示了一些由DCGAN生成的臥室圖像。

圖8 DCGAN生成的臥室圖像