Nature新子刊Machine intelligence中有一篇12頁的綜述，匯總介紹了神經進化這一前沿的研究方向在神經網絡中的眾多應用。本文用5分鐘概述該文的主要觀點，對于不了解神經進化的讀者，本文將先帶你認識神經進化說的是什么？你不需要太多的背景知識，也能讀懂本文。

人工的神經網絡是依靠梯度的反向傳播來進行優化的，而在生物界中，神經網絡中并沒有指出優化方向的梯度，感知從下而上正向傳播，之后相近的刺激帶來共同激活的神經元，再用這些連接來對新事物編碼及預測，而一切都依賴于進化機制。所謂神經進化，就是用遺傳算法來進行神經網絡的結構生成，參數更新及整體的效率優化。其基本的循環是突變-》選擇-》繁衍-》再突變。

下圖來自莫煩Python的視頻，其中對比了兩種神經進化的策略，一種是不固定網絡的結構，通過神經網絡間的交叉配對形成下一代的網絡，另一組是固定結構，每一代網絡中通過引入突變改變連接的強度，最終倆者都通過進化的優勝劣汰來實現神經網絡的最優化。

不同于傳統的隨機梯度下降，是基于對現在錯誤來源的外推決定下一步進化的方向，即使引入了隨機性，也只是在原有方向上引入高斯誤差，是一種事后的彌補，而神經進化是通過在下一代中引入在算法空間中性質完全不同的點，之后根據適應度在這些點之間進行內推，雖然速度慢，但是可以更大規模的并行處理，且能夠更好的避免陷入局部最優。

神經進化不止在監督學習中應用廣泛，在深度強化學習中也有廣泛的應用。Uber開發的開源工具Visual Inspector for Neuroevolution（VINE），可以用于神經演化的交互式數據可視化工具。而下文的作者之一也來自Uber的AI實驗室。

在結束背景介紹之后，進入這篇論文本身的介紹。作者首先指出了神經進化相比神經網絡的幾個獨特的能力，包括通過學習找到合適的網絡組成部分（例如激活函數），以及網絡的超參數（有幾層，每層有多少神經元）以及用于的學習策略本身。不同于AutoML的自動化調參，神經進化始終在搜索答案中保持著一個多樣的解法“種群”，而且由于神經進化的研究和傳統的神經網絡并沒有多少交集，因此倆者之間的匯總更容易擦出火花。

最初的神經進化關注小規模網絡的拓撲結構的演化，最初的進化算法僅僅是通過（神經元）連接矩陣間的權重加上隨機突變來展開，之后受到基因間調控網絡的啟發，對網絡結構展開了間接的編碼。隨著引入在倆個網絡結構中的雜交（crossover），神經進化可以探索更為復雜的網絡結構，但需要面對如何避免讓新生成的網絡結構由于缺少足夠的時間進行局部優化而無法發揮出其最優的性能，該方向上最顯著的成果是NeuroEvolution of Augmenting Topologies （NEAT）算法，該算法的成果包括模擬機器人行走的控制程序，下圖分別是使用遺傳算法和進化策略訓練模擬機器人走路（來自UberAI實驗室Mujoco 人）

在強化學習領域，natural evolutionary strategy可以在 Atari 游戲機上和Deep Q learning有相近的表現，而且這些算法的并行潛力使得這些算法在有足夠計算資源時，可以用更快的時間完成訓練，盡管神經進化需要的總的計算資源要多一些。神經進化在強化學習中的成功說明了神經進化方法可以用在現實中的復雜問題上。

Lehman將神經進化和梯度結合了起來。該方法的靈感來自是通過梯度去選擇出那些不那么危險的突變。由于強化學習中評估一個策略的適應度需要花費的比評估網絡本身要花費更多的資源，前者需要運行游戲或者模擬環境數回合，才能看到收益，而后者只需要去將網絡中的錯誤項前向傳播幾步即可。神經進化中對策略（policy）加以隨機的突變，部分突變不會影響策略的性能，但少部分會讓該策略徹底失效。通過對狀態和行為歸檔記錄，可以通過梯度信息對變異的大小進行縮放，從而避免突變后的策略對于當前的狀態過于激進或保守，從而使得在深度超過100層的網絡上可以使用神經進化的策略。

神經進化可以模擬真實進化中對多樣性和新奇策略的偏好，在要優化的目標中對全新的策略給予獎勵，從而避免陷入局部最優，或者以策略種群的多樣性為優化主要目標。在強化學習中，一個策略要想和其他策略不同，需要具有不同的基礎能力，從而使策略種群多樣性為優化目標好于人為設定的損失函數。

總結：神經進化在meta learning，多任務學習中都可以和現有方法結合。正如卷積操作就是一種編碼信息的方式，神經進化還可以找到更好的對信息進行間接編碼（Indirect coding）的方法以及通過進化策略重現出類似LSTM的網絡結構。強化學習中的自我對弈可以看成是神經進化的一種，而對策略多樣性的偏好也鼓勵了模型對新策略的探索。最后，在通向通用人工智能的路上，神經進化通過構建開放目地的（open-endedness）的系統，讓策略不帶有先驗目地的探索，模擬自然界的進化，最終得到一個足夠普適的智能系統。