這個美國高中生用兩年時間復現出英偉達端到端無人駕駛的論文，并在此基礎上進一步改進，得到了Nvidia的offer，卻執意進入大學學習。

Sully Chen

Sully Chen 是南加州大學維特比工程學院的研究員，他喜歡數學、物理、人工智能以及醫學，目前他正致力于如何通過大數據和機器學習來改善醫療保健和醫學預防。三年前，當他還在加州帕洛斯弗迪斯高中念書的時候，就對自動駕駛汽車產生了濃厚的興趣，準備著手制造自己的機器。

熱愛的數學成為后期研究的重要基礎

十歲開始編程，并參與了很多項目的 Sully Chen 雖然稱不上是天才，但他對數學近乎癡迷。2015年初，同齡的高中生還在學習排列組合，而他在一個視頻中偶然發現了遺傳算法和神經網絡，這個視頻用計算機仿真出遺傳算法的特性，虛擬生物似乎在沒有人為輸入的情況下神奇地演變出復雜的行為，“這像極了我在生物課上學到的交叉和隨機變異，但我仍不相信這樣的計算機模擬是真的。”

很自然地，他編寫了自己的模型去驗證了它的可行性。通過親身實踐，更讓他無法自拔，他花了兩個星期開完了一學期的人工智能MIT公開課。與backprop（反向傳播算法）斗爭了好幾個星期，仍不能真正的理解。查閱大量論文，指南和博客后，最終在 Michael Nielsen 關于《神經網絡和深度學習》博客中解決了自己的困惑，并用C++編了一個神經網絡庫，以加深自己理解。

構造一臺無人車面臨無數的挑戰

憑借著對機器學習“淺薄”的認知，Sully Chen開始了制作自己的機器。

通過視覺算法來實現無人駕駛，第一個要解決的挑戰就是數據收集問題，需要協調好攝像頭和方向盤角度。攝像頭比較簡單，他用膠帶粘在了擋風玻璃上，而方向盤角度如何控制呢？

他首先嘗試了一種加速度計和Arduino（數據儀器）連接到方向盤上，并將時間數據與攝像頭同步。這種方法并不理想，由于加速度計比較敏感，加速度數據與視頻數據如何分開成了當時Sully需要面對的另一個挑戰。

第一種方式行不通，Sully開始了新的嘗試，使用現代汽車配備的OBD-II端口訪問CAN-BUS。這種方法又要面臨新的挑戰，但最終實現了超精確方向盤測量，證明這種方法是值得的。

挑戰1：如何從 BD-II端口讀取CAN-BUS？解碼和處理CAN-BUS信號是一個復雜的過程，需要很長時間才能編寫和調試。幸運的是，前人（深圳矽遞科技）已經做到了。Sully使用這個代碼和相對便宜的Arduino屏蔽，就能夠輕松地從汽車中提取和讀取CAN-BUS數據。

挑戰2：如何將CAN-BUS數據的亂碼轉變為方向盤讀數？下圖是提取的CAN-BUS數據。

從數百個CAN-BUS渠道的解析中，找到一個方向盤角度的信息通道，對于一個高中生而言，難度可想而知。Sully 用最笨的辦法做到了！他手動監控每個通道，慢慢轉動方向盤，需按照接受數據的平滑變化值。經過大量的實驗，終于找到了方向盤的通道，用同樣的方法也找到了油門、制動器以及速度的通道。

挑戰3：如何把CAN-BUS中的數據轉換成可讀數據？找到通道后，通過測量實際角度與通道數值進行線性變換，就能從CAN中讀出車輛的即時數據。

攔路虎順利擺平之后，開始瘋狂收集數據。為此，Sully 曠了很多課。當數據通過機器學習訓練算法時，一切變得有趣起來。

復現并優化Nvidia論文，引起Nvidia官方的重視

用機器學習訓練模型時，第一次嘗試用Caffe 在 AlexNet上訓練分類模型。他將數據劃分成每個大小為10度的黑盒子，方向盤角度在0-9度，10-19，20-29等之間得到相應的圖像。采用了分類輸出的線性組合獲得最終預測。由于當時并不能真正理解的統計數據，一切變得非常糟糕。這讓Sully 幾乎失掉了信心，他專門建了一個存放錯誤代碼和實踐的垃圾文件箱，用來提醒自己要從失敗中總結經驗，學到新東西。現在這個垃圾文件箱還存在著，而且越積越大，它的存在也證明了自己一路以來的進步。

2016年8月，Nvidia發布了一篇論文《End to End Learning for Self-Driving Cars》，詳細解讀了英偉達在端到端無人駕駛的探索，這讓Sully 有了第二次嘗試，他準備復現一下Nvidia論文

Nvidia模型使用以下架構：

這個架構輸出的是前十個神經元的簡單線性組合，Sully認為還可以改進。他通過對線性組合應用正切函數來改變這一點，這種方法更直觀從視覺數據中“恢復”曲率角度，而不必重新學習將斜率或切線轉換為弧度測量的方法。

研讀完Nvidia論文的高中生，在TensorFlow中寫了大約一個晚上的代碼，并用當時便宜的750ti GPU上訓練了它，結合Adam優化器等訓練。最終，取得了不錯的成果！

一個高中生花費兩年時間完成了這個龐大的項目，Sully感嘆道“這次經歷教會了我大量的信息，技術和編碼實踐。Nvidia甚至帶我去他們的自動駕駛實驗室參觀他們的技術！“Nvidia為這位高中生提供一份不低的工資，但被他拒絕了，Sully進入了大學，開始了自己本科的學習。