人工智能風暴襲來，機器人、自動駕駛汽車這樣的嵌入式設備也熱度漸長。毫無疑問，現在，嵌入式設備也需要高效的神經網絡加持。但是，如何在嵌入式設備上實現高效的神經網絡，可不是一件簡單的事情。性能，功耗，成本，都是不得不考慮的問題。每一種不同的應用場景，都需要在神經網絡的大小和精確度之間進行特定的權衡（trade-off）。

像自動駕駛汽車，就需要實現對實時視頻的精確識別，這意味著嵌入其中的神經網絡模型一定是個體積龐大的家伙。受限于硬件，神經網絡必須進行壓縮。在卷積神經網絡壓縮這個課題上，移動高效架構是主流（MobileNets或ShuffleNets）。

然而，基于移動高效架構的MobileNet-v2在ImageNet對象分類中雖然已經達到了71%的 top-1準確率，但這仍遠落后于卷積神經網絡的最佳表現83.1%。Facebook的研究人員們決定轉換思路，既然如此，何不更專注于傳統的卷積網絡本身呢？

Facebook提出了一種適用于ResNet類架構的壓縮方法，名叫Bit Goes Down。這種方法利用了結構化量化算法PQ（Product Quantization）中卷積的高相關性，重點關注activations的重建，而不是權重本身。也就是說，這種方法只關注域內輸入的重建質量。

研究人員讓未經壓縮的神經網絡充當“老師”，利用圖靈獎得主Hinton等人提出的提煉（distillation）技術來指導“學生”網絡的壓縮。這一過程無需任何標記數據，是一種無監督學習方法。PQ算法的任務是量化全連接層的權重矩陣。但從實際需求來看，權重不重要，保留層的輸出才是研究人員的關注重點。在上圖這種非線性分類器中，不能保證層權重的Frobenius近似是某個任意域輸出的最佳近似（特別是對于域內輸入）。

因此，研究人員提出了一個替代方案，通過將層應用于域內輸入獲得輸出激活（activations）的重建誤差，直接最小化該誤差。用編碼簿（codebook）最大限度地減少輸出激活及其重建之間的差異。接著要對EM算法（最大期望化算法）進行調整。E-step是集群分配，這一步通過詳盡的探索來執行。

M-step是碼字（codeword）更新，這一步通過顯式計算最小二乘問題的解來完成，實際上就是在E-step和M-step交替之前，計算x tilde的偽逆。需要注意的是在E-step之后某些集群可能為空。對于卷積層情況又是如何呢？

在完全連接層，這一方法適用于任何矢量集，所以如果將相關的4D權重矩陣分割成一組向量，該方法就可以應用于卷積層。分割4D矩陣的方法有很多，標準就是要最大化矢量之間的相關性，因為當矢量高度相關時，基于矢量量化的方法效果最好。就像這樣，在空間上量化卷積濾波器以利用網絡中的信息冗余，不同顏色代表擁有不同碼字的子向量。

接下來，就涉及到對整個神經網絡的量化。首先，這是自下而上的量化，從最低層開始，到最高層結束。這也就是所謂的用非壓縮的教師網絡引導學生網絡的壓縮。主要包括以下兩個步驟：恢復該層的當前（current）輸入激活，即通過量化后的低層轉發一批圖像而獲得的輸入激活。使用這些激活量化當前層。采用Hinton的distillation方法微調碼字，以非壓縮網絡作為教師網絡，當前層之前的壓縮網絡作為學生網絡。

在這一步驟中，通過對分配給指定碼字的每個子矢量的梯度求平均，來完成碼字的精細化。更確切地說，是在量化步驟之后，一次性修復分配。接下來，就剩下最后一步，全局微調所有層的碼字，以減少殘余漂移。同時更新BatchNorm層的統計數據。全局微調使用的是標準的ImageNet訓練集。

研究人員用Bit Goes Down量化了在ImageNet數據集上預先訓練好的vanila ResNet-18和ResNet-50。在16GB的 Volta V100 GPU上跑了一天之后，終于到了展示成果的時候。首先，是跟標準ResNet-18和ResNet-50的比較。

對于ResNet-18，在29倍壓縮的情況下，模型大小縮小到了1.54MB，而top-1準確率僅比標準模型降低了不到4%。ResNet-50上模型大小略大一些，但也達到了5MB左右，準確率同樣保持在一個可以接受的水平。跟模型壓縮界的前輩相比，Bit Goes Down表現出了它的優勢，雖然在1MB的指定大小中敗下陣來，但在5MB的比拼中，新方法優勢明顯，準確率提升了將近5個百分點。

這意味著壓縮后的模型獲得了非壓縮ResNet-50的性能，同時還只有5MB大小。Bit Goes Down在圖像分類上表現不俗，在圖像檢測方面又如何呢？研究團隊又壓縮了何愷明的Mask R-CNN。這回用上了8塊V100 GPU來進行訓練。在壓縮了25倍的情況下，壓縮模型的Box AP和Mask AP都只下降了4左右。這表現，著實有些厲害。Facebook表示，Bit Goes Down這樣的壓縮算法將推動虛擬現實（VR）和增強現實（AR）等技術的進一步發展。