來源：Facebook

【導讀】Facebook的研究人員近日提出了一種用于超參數調整的自我監督學習框架。這個新模型實現了準確預測的結果，估計超參數的速度快了6到20倍。

近日，Facebook的研究人員提出了一種新的用于模型選擇(SSL-MS) 和超參數調整(SSL-HPT)的自監督學習框架，該框架以較少的計算時間和資源提供準確的預測。

與基于基線搜索的算法相比，SSL-HPT 算法估計超參數的速度快了6-20倍，同時在各種應用中產生了比較準確的預測結果。

SSL：估算超參數速度快6-20倍

在時間序列分析(用于發現趨勢或預測未來值)中，超參數的細微差別可能導致給定模型的非常不同的預測結果。

因此，選擇最優的超參數值顯得尤為重要。

大多數現有的超參數調整方法，如網格搜索、隨機搜索和貝葉斯最優搜索，都是基于一個關鍵組件: 搜索。

因此，它們計算代價非常昂貴，不能應用于快速、可擴展的時間序列超參數調整。

研究人員提出的框架 SSL-HPT 使用時間序列特征作為輸入（不犧牲精確度的情況下），在較短的時間內產生最佳的超參數。

那么，它們是如何工作的呢？

研究人員開發的自監督學習框架在預測時的兩個主要任務: SSL-MS 和 SSL-HPT。

SSL-MS: SSL-MS 的自我監督學習框架包括三個步驟，如下所示:

1 離線訓練數據準備: 獲得每個時間序列的時間序列特征和每個時間序列的最佳性能模型通過離線超參數調整。

2 離線訓練: 利用步驟1中的數據訓練分類器(自我監督學習者) ，其中輸入特征(預測器)是時間序列特征，標記是步驟1中性能最好的模型。

3 線模型預測: 在線服務中，對于新的時間序列數據，提取特征，然后使用預先訓練的分類器進行推理，例如隨機森林模型。

SSL-MS 的工作流程可以自然地擴展到 SSL-HPT。

如下圖所示，給定一個模型，探索每個時間序列在預定義參數空間內的所有超參數設置。

對于輸入 x，研究者在這里使用的時間序列特征與 SSL-MS 相同。

自監督學習器一經訓練，就可以直接對超參數進行預測，并針對任何新的時間序列數據產生預測結果。

最終，研究人員通過在內部和外部數據集上對新型算法進行了實證評估，并得到了相似的結論。

SSL 框架可以極大地提高模型選擇和超參數調整的效率，以可比的預測精度減少6-20倍的運行時間。

預測為什么重要？

預測是 Facebook 的核心數據科學和機器學習任務之一，因此提供快速、可靠、準確的預測結果和大量的時間序列數據對自身的業務非常重要。

這個框架的應用包括容量規劃和管理、需求預測、能源預測和異常檢測。

計算技術的迅速發展使企業能夠跟蹤大量的時間序列數據集。因此，定期預測數百萬個時間序列的需求正變得越來越普遍。

但是，要獲得大量時間序列的快速且準確的預測仍然具有挑戰性。

Facebook新提出的 SSL 框架提供了一個高效的解決方案，以低計算成本和短運行時間提供高質量的預測結果。

這種方法獨立于特定的預測模型和算法，因此享有單個預測技術的優勢，例如 Prophet 模型的可解釋性。

初步分析表明， SSL框架可以擴展到模型推薦，并在Facebook內部 AX 庫中增強貝葉斯優化算法。

論文一作：普渡大學華人學者

這篇論文一作是普渡大學大學的研究員Peiyi Zhang。

Peiyi Zhang本科畢業于浙江大學，并在康奈爾大學獲得了碩士學位，普渡大學獲得了博士學位。

去年6月，她還在Facebook進行了兩個月的實習。

Peiyi Zhang曾獲得洛杉磯市數據分析項目榮譽獎、浙江大學學生科研訓練計劃優秀獎、大學生數學建模競賽優秀獎。

Xiaodong Jiang是本片論文的第二作者，他目前在Facebook工作，擔任基礎設施研究數據科學家，開發通用時間序列分析工具。

他在佐治亞大學獲得了碩士和博士學位。

參考資料：

https://ai.facebook.com/blog/large-scale-forecasting-self-supervised-learning-framework-for-hyper-parameter-tuning/

編輯：jq