摘要：機器學習（深度學習為其中一分支）技術成為各產業智慧化的核心能力，但是算法的設計復雜，需要專業知識與經驗，對于好的人才，需求遠大于供給。

機器學習（深度學習為其中一分支）技術成為各產業智慧化的核心能力，但是算法的設計復雜，需要專業知識與經驗，對于好的人才，需求遠大于供給。為了彌補這個空缺，這幾年自動化機器學習工具（autoML）新研究興起，希望有自動化的系統，在給定問題（通常是標記的數據）之后可以自動生成機器（深度）學習算法。在信息論上，這是非常復雜的問題，需要大量運算資源，所以極具挑戰。

autoML研究已經發展一段時間。例如開源軟件auto-sklearn，可以自動找出各種（傳統、較簡易）算法的組合，試著優化整體預測能力，但目前僅局限于參數量較少的簡易模型。目前最受矚目的應該是「神經網絡結構搜尋」（Neural Architecture Search； NAS），希望自動設計出解決特定問題的類神經網絡，原因是深度學習網絡的效能優異，而且有機會在各平臺實現，商業機會龐大。

NAS做為熱門的研究領域，其原則是在可能的神經網絡設計架構中找出最佳的組合。主要的結構（參考附圖）包括3部分——可能網絡構成空間、候選網絡生成（搜尋）策略、網絡效能評估策略等。

「可能的網絡構成空間」是影響NAS能否收斂的關鍵因素。試想一下，目前常用的網絡參數量都是百萬、千萬等級，要組合出這些可能性，不可能在有限的時間、運算資源內完成。所以目前的組合考慮大多限縮在某些特定、常用的網絡架構（卷積層大小、normalization方式、pooling方法等），壓縮整體搜尋的空間。

另一個需要大量運算時間的是對每個找出的候選網絡進行「效能評估」，進而修正網絡生成的方向。開始時大家對這些候選網絡做最完整的參數訓練，可以想象需要大量的時間資源，所以較早的研究曾經使用到800個GPU、28天的時間。近來大家采用的策略都是減低訓練數據、降低訓練次數、共享網絡參數，甚至是用推估的方式直接猜測效能，完全省略耗時的網絡訓練。目前已經可以大大降低所需的運算量。

「候選網絡生成」是為了搜尋出可能具有潛力的候選網絡，還必須利用之前生成過的網絡效能來修正網絡生成（搜尋）的方式。所以傳統的演化式算法在這些優化過程又需被大量使用，不過一般認為最有效的方式是使用強化學習（reinforcement learning），按照之前生成網絡的評量，修正候選網絡的生成策略。 在實際的發展上，目前自動生成的網絡，在某些實驗數據集上已可超越資深研究人員的手工設計。但這也不令人意外，因其是利用大量運算資源來更優化設計效能。此外，NAS算法只能在研究人員認為有效以及給定的網絡組件組合中搜尋，尚未有「創造」新組件的能力。

以企業的角度，我認為autoML該視為輔助性的工具來加速深度學習網絡的設計。但是主要架構的獨特性、競爭性，或是能否在垂直領域中勝出，還是需要了解該領域的資深研究人員給出適合的基本結構，讓autoML算法找出最神經網絡。

目前應用上，除了優化正確率之外，基于許多場域的實際考慮，我們也會將速度、參數量、耗電量、平臺目標（行動、工作站、嵌入系統等）、內存大小等當作多個優化的標準。所以autoML可以加速智慧技術的落地。

autoML的興起，對產業界（或個人職涯）傳遞怎樣的訊息呢？相關自動化技術絕對會優化、縮短智慧算法研發，但是頂尖的智慧研發人員依舊無法取代。他們與autoML相互搭配，會是最有效率的研發程序。但是對于補習式教育訓練出的的機器學習工程師，很可能會被autoML取代。此外，這些工具也會被其他競爭公司使用，能讓公司產生差異的還是對前瞻技術的提早投入，以及對于機器學習領域的通盤（或是特殊領域的深度）了解，或是將深度學習技術結合跨領域（如醫學、金融、安全等）應用。淺碟型的技術投資，對公司（或職業生涯）長期的發展性都不大！