利用進化后的反向傳播算法實現快速、高效的訓練

在最新的機器學習自動搜尋方法的推動下，一些谷歌研究人員提出了一種自動生成反向傳播方程的方法。

新方法的工作原理:研究人員嘗試修改反向計算（流程）圖，并實現了一種搜索方法：找到更好的公式，生成全新的傳播規則。他們使用進化后算法來尋找可能的更新方程。進化控制端在每次迭代中向研究人員群發送一組修改后的更新方程以進行評估。然后，每位研究人員使用接收到的變異方程來訓練一個固定的神經網絡結構，并向控制端報告所達到的精準度。

潛在應用及影響

研究人員發現一些變異可以像傳統的反向傳播方法一樣有效。這些變化可以在短的訓練周期內實現更高的準確性，因此可以用于改進基于準確性的決策算法。

由于反向傳播是深度神經網絡的基礎，利用這種新發現的變異可以用來增強對各種神經網絡的訓練。

原文：

https://arxiv.org/pdf/1808.02822.pdf

端對端的目標跟蹤結構

研究人員提出了一種離線型端到端訓練的鑒別目標跟蹤方法。在Python中可以使用PyTorch實現，新方法是通過迭代優化從具有辨別性的學習損失中衍生得出的。它構成卷積層的權重以及輸出目標分類得分。而且它還實現了一個預測模型，其中包括一個初始化網絡，以便僅使用外觀（特征），就能有效地提供模型權重的初始估計。

然后由優化模塊處理權重，同時考慮目標和背景樣本。優化功能是特地設計的，只包括一些可學習的參數，以避免在離線訓練期間過度擬合。在使用時，預測模型就能夠泛化為不可見的目標，這在常規目標跟蹤中是至關重要的。

整個跟蹤模型，包括目標分類、邊界框預估和Backbone模塊，都可以在跟蹤數據集上進行離線訓練。在評估方面，它在6個跟蹤基準上都達到了最新的技術水平，在運行速度超過40FPS的情況下，在VOT2018（Visual Object Tracking Challenge全球目標追蹤領域中最高水平賽事）上獲得了EAO得分：0.440（Expect Average Overlap Rate,追蹤算法評價標準之一）。

在單塊Nvidia GTX 1080 GPU上，新模型在使用ResNet-18為主時，跟蹤速度為57 FPS，對于ResNet-50則為43FPS。訓練及推導過程請見?

https://github.com/visionml/pytracking

潛在應用與影響

現在我們有了一種辨別性的目標跟蹤方法，而且這種方法是離線訓練的，只需幾個優化步驟就可以進行穩健型的預測。結合這一方法以及其他最近的目標跟蹤方法，我們即將迎來下一代目標跟蹤（方法）的進步。

閱讀更多：

https://arxiv.org/abs/1904.07220v1

3.DG-Net：增強行人身份再識別（Re-Identification）

為了提高行人的再識別能力，研究人員最近提出了DG- Net，這是一個結合再識別學習和端到端數據生成的聯合學習框架。為此，DG-Net包含一個生成模塊，該模塊將特定的人分別編譯為外觀代碼和結構代碼。它還集成了與生成模塊共享外觀編碼器的判別模塊。

因此，DG-Net中的生成模塊可以生成高質量的交叉id合成圖像，然后在線將圖像反饋給外觀編碼器，通過切換外觀代碼或結構代碼來改進模型的判別模塊。在包括Market-1501、dukemtc - reid和MSMT17在內的標準基準數據集上對DG-Net進行了評估，結果顯示，與傳統模型相比，DG-Net在圖像生成質量和再識別精度方面都有顯著的改進。

將新方法與LSGAN[29],PG2-GAN[28],FD-GAN[10]，PN-GAN[31]通過基于Market-1501而產生的真實圖像進行對比，放大后可以更清楚地看到圖片的表層和深層。

潛在應用與影響

從GANs被發現到最近的研究進展，判別和生成網絡在圖像構建和生成任務中不斷證明自己。DG-Net是另一個當代的方法，將會顯著和持續地提高再識別的準確性。這項研究表明，人工智能領域還可以繼續更深入地研究GANs，以便找到更好的方法，來運用生成的數據完成更多穩健的基于圖像任務。

原文：

https://arxiv.org/abs/1904.07223v1

4 .實現CNNs端到端培訓時間減少31%

通過著重關注加速訓練，一組研究人員提出了PruneTrain，一種新的經濟有效的方法，可以緩慢但穩定地降低CNN的訓練成本。與傳統的CNN訓練方法不同，PruneTrain在訓練過程中通過稀疏化過程實現了模型剪枝方法scratch。模型剪枝主要是在稠密模型中減少權值或參數的數量，從而在保持原有模型精度的同時降低內存和推理成本。

PruneTrain非常實用，它使CNN的端到端訓練成本降低了約31%。總體而言，它減少了大約一半的計算成本——對于大數據集和小數據集，它分別減少了37%到40%之間的計算成本，實現了31%和28%的成本降低。總的來說，這是由于計算延遲減少了37%，內存占用減少了35%，加速器間通信減少了54%。

潛在用途及影響

在機器學習社區中，誰不認為這是一個好消息?人工智能研究人員和行業從業人員現在都可以期待使用PruneTrain進行成本更低的CNN訓練，并且PruneTrain將CNN架構重構為更節省成本的形式，同時仍然保留一個密集的結構。為了更快地進行推理，這樣的模型剪枝是值得深入研究的!

詳情請見：

https://arxiv.org/abs/1901.09290v3

5 . 自主微型機器人的合成神經視覺系統

一種新的基于嵌入式視覺系統的自主微機器人方法被提出，用于識別動態機器人場景中的運動模式。該方法將基本的運動模式分為隱現(接近)、衰退、平移等運動。該系統由兩個協調子系統組成，其中包括蝗蟲巨葉狀體運動探測器(LGMD1和LGMD2)，它有四個突起神經元，用于感知若隱若現和衰退。另一類是用于平動運動提取的果蠅定向選擇神經元(DSN-R和DSN-L)。

通過對開關函數和決策機制的時空計算，圖像被轉換為峰值，從而在動態機器人場景中喚起適當的避碰、跟蹤和漫游行為。對多機器人的評估證實了系統在識別運動特征以進行碰撞檢測的有效性，與現有方法相比有顯著改進。

潛在用途及影響

為了在動態場景中應用合適的機器人行為，毫無疑問，更多的研究工作和行業實踐是必要的。所提出的人工神經視覺系統能夠較好地識別運動規律。研究人員呼吁在系統中繼續加入其他視覺神經元，提取更多的運動特征，以豐富運動模式，使機器人的視覺系統更加高效。