編者按：近日，NeuroAscent聯合創始人、數據科學家Sanyam Bhutani對Ian Goodfellow博士進行了一次采訪。在他們的對話中，深度學習研究員、GAN之父Goodfellow回顧了自己當年的科研經歷，簡要介紹了自己對于科研、行業和未來發展的一些看法。

Sanyam Bhutani：您好，GAN之父，感謝您愿意接受我的采訪。

Ian Goodfellow：非常歡迎！非常感謝你愿意采訪我，以及撰寫博客來幫助其他學生。

Sanyam Bhutani：作為Google AI的研究科學家，同時也是生成對抗網絡（GAN）的發明人，您能向我們的讀者透露一下自己的科研經歷嗎？比如您是什么時候開始研究GAN的？是什么讓您對深度學習產生了興趣？

Ian Goodfellow：我從本科開始就已經在研究人工智能了，只不過那時機器學習主要是SVM、boosted tree等。在課余，我也是游戲編程的業余愛好者，會用GLslang制作一些小項目。一次，我的朋友Ethan Dreyfuss（他現在在Zoox工作）告訴了我兩件事：Geoff Hinton在谷歌的技術演講上提到了深度信念網絡（DBN）；CUDA GPU。

我當即就意識到深度學習能彌補SVM帶給我的很多缺憾。一方面，SVM在設計模型上不夠自由，投入更多數據資源后，它不會直接變得更“智能”，但深度神經網絡可以隨著投入數據的增加不斷提升性能。另一方面，CUDA GPU能允許我訓練更大的神經網絡，由于有游戲編程經驗，我知道該怎么編寫GPU代碼。

就在那個寒假，我和Ethan在斯坦福大學搭好了第一臺CUDA計算機，并用它開始訓練玻爾茲曼機。

Sanyam Bhutani：正如您所講的，你只花了一晚上就寫出了第一個GAN，但一般在研究上作出突破都至少需要幾個月甚至幾年。您能談談自己為什么能在一夜之間就實現突破嗎？

Ian Goodfellow：如果你有一個和新想法相關的高質量codebase（代碼庫），實現這個想法其實很容易。早在幾年前，我和同事就已經圍繞Theano和Pylearn2的庫做了很多工作，它們都是第一個GAN的構建基礎。早年有篇論文叫Maxout Networks，我們曾仿照它自己寫了個MNIST分類器，到訓練GAN時，我們直接復制了分類器的代碼，論文的超參數在GAN里也很好用，所以我們基本沒做什么更新。再加上在MNIST上訓練用時很短，我認為第一個MNIST GAN只花了我大約一小時的時間。

Sanyam Bhutani：自發明以來，我們在GAN上看到了很多可喜的進展，您最欣賞其中的哪一個呢？

Ian Goodfellow：這很難選。當Emily Denton和Soumith Chintala提出LAPGAN的時候，我第一次意識到GAN的廣大前景。當然，LAPGAN只是暴風雨前的一朵小浪花。

Sanyam Bhutani：除了GAN，你最好看深度學習的哪個領域呢？

Ian Goodfellow：我在研究模型對于對抗樣本的穩健性上花了不少時間。為了把機器學習用于實際應用，確保它的安全性非常重要。我也希望這項研究能幫我們更好地理解什么是機器學習。

Sanyam Bhutani：對于那些有興趣從事深度學習的讀者和初學者，對于那些夢想著有一天能進入Google工作的人，您有什么好的建議嗎？

Ian Goodfellow：首先要學習基礎知識：編程、debug、線性代數、概率論。大多數高級研究項目最看重一個人的基礎知識掌握水平，而不是他對先進技術的了解程度。舉個例子，今天我就在調試內存泄露，因為它讓我沒法實驗，我也在加快軟件庫的單元測試，以便嘗試更多研究思路。當我還在讀本科、讀博士的時候，我經常會向吳恩達討教，他建議我一定要徹底掌握這些基礎知識。那時我覺得這些工作很無聊，希望他能多跟我說說超實數之類的東西，但現在幾年過去了，我覺得他的建議真的是正確的。

Sanyam Bhutani：您能跟我們說說您在Google的一天是什么樣的嗎？

Ian Goodfellow：對于不同人，甚至是同一個人的不同人生階段，這種體驗是非常不一樣的。有時候，我就是寫寫代碼、跑跑實驗、讀幾篇論文，或者寫寫書。有時候，我就需要花大多數時間參加幾個不同的會議，檢查許多不同的項目。現在我在檢查別人工作上花去的時間要占60%，處理自己的項目則占40%。

Sanyam Bhutani：有一種普遍想法是，如果想在深度學習中取得重大成果，一個必要前提是有大量資源。您是怎么看待這個觀點的呢？你是否覺得存在那么一個人，他沒有Google能提供的那么多資源，但他最終做出了突破性貢獻？

Ian Goodfellow：我同意，當然存在這么一個人，但他首先得選好合適的研究項目。比如證明一個有趣的理論結果可能不需要計算資源，設計一個只需極少數據但性能好、通用性強的算法也不需要超大型數據集。但是，如果你沒有足夠多的硬件做并行計算，你最好不要去挑戰構建全世界訓練速度最快的ImageNet分類器。

Sanyam Bhutani：鑒于研究成果的爆炸性增長，您是怎么讓自己與時俱進的？

Ian Goodfellow：不久前，我覺得自己已經掌握了深度學習的所有知識，尤其是在我編書的時候。但現在我做不到了，我真的只能關注和自己的研究有關的主題，我甚至都說不清GAN發生了什么變化。

Sanyam Bhutani：您覺得機器學習被高估了嗎？

Ian Goodfellow：就其長期潛力而言，我實際上認為機器學習還是被低估了，因為外行人還沒有像我們一樣對它津津樂道。但我認為機器學習確實經常被“錯誤炒作”：人們會夸大現階段這種技術的可能性，或者夸大個別項目的進展等。

Sanyam Bhutani：您認為非機器學習專業的博士/碩士能否為深度學習領域做出貢獻？

Ian Goodfellow：我認為培養專業知識很重要，但我不認為博士學位是獲得這種專業知識的唯一途徑。最優秀的博士生往往都是自學型人才，只要有足夠時間學習，他們也能做到邊工作邊成長。

Sanyam Bhutani：最后，您能給那些對深度學習感到不知所措的初學者一些建議嗎？

Ian Goodfellow：從一個簡單項目開始，重新實現那些你已經了解，而且知道肯定能成的東西，比如CIFAR-10分類器。很多人都會想一開始就直接去做一些新的事情，然后項目失敗了，你也不知道是項目本身行不通，是你自己的思路有問題，還是你對一些關鍵點的理解有誤。我覺得有一個可以實踐的項目很重要：深度學習有時就像開飛機，你可以讀很多東西，但你也要親自上手體驗并發現另一些直觀的經驗。