9月17日，騰訊AI Lab機器學習中心宣布PocketFlow，并將在今年10-11月發布開源代碼。

據悉，這是一款面向移動端AI開發者的自動模型壓縮框架，通過集成多種深度學習模型壓縮算法與訓練算法，并創新性地引入騰訊自主研發的超參數優化組件，實現了全程自動化托管式的深度學習模型壓縮與加速，極大地提升了模型壓縮技術的自動化程度。開發者無需介入具體的模型壓縮算法及其超參數取值的選取，僅需設定期望的性能指標，即可通過PocketFlow得到符合需求的壓縮模型，并將AI技術快速部署到移動端產品上，實現用戶數據的本地高效處理。

PocketFlow框架主要由模型壓縮/加速算法組件和超參數優化組件兩部分構成，在模型壓縮算法方面，該團隊提出一種基于判別力最大化準則的通道剪枝算法，在性能基本無損的前提下可以大幅度降低CNN網絡模型的計算復雜度。該算法在訓練過程中引入多個額外的損失項，以提升CNN網絡中各層的判別力，然后逐層地基于分類誤差與重構誤差最小化的優化目標進行通道剪枝，去除判別力相對較小的冗余通道，從而實現模型的無損壓縮。

在超參數優化算法方面，該團隊研發出AutoML自動超參數優化框架，集成了包括高斯過程（Gaussian Processes, GP）和樹形結構Parzen估計器（Tree-structured Parzen Estimator, TPE）等在內的多種超參數優化算法，通過全程自動化托管解決了人工調參耗時耗力的問題，大幅度提升了算法人員的開發效率。

考慮到深度學習模型的訓練周期普遍較長，該團隊對基于TensorFlow的多機多卡訓練過程進行優化，降低分布式優化過程中的梯度通信耗時，研發了名為TF-Plus的分布式優化框架，僅需十幾行的代碼修改即可將針對單個GPU的訓練代碼擴展為多機多卡版本，并取得接近線性的加速比。

此外，團隊還提出了一種誤差補償的量化隨機梯度下降算法，通過引入量化誤差的補償機制加快模型訓練的收斂速度，能夠在沒有性能損失的前提下實現一到兩個數量級的梯度壓縮，降低分布式優化中的梯度通信量，從而加快訓練速度。

目前，該框架在多款手機APP中得到應用，為騰訊的多項移動端業務提供模型壓縮與加速技術支持。