來(lái)源：Facebook

【導(dǎo)讀】Facebook的研究人員近日提出了一種用于超參數(shù)調(diào)整的自我監(jiān)督學(xué)習(xí)框架。這個(gè)新模型實(shí)現(xiàn)了準(zhǔn)確預(yù)測(cè)的結(jié)果，估計(jì)超參數(shù)的速度快了6到20倍。

近日，F(xiàn)acebook的研究人員提出了一種新的用于模型選擇(SSL-MS) 和超參數(shù)調(diào)整(SSL-HPT)的自監(jiān)督學(xué)習(xí)框架，該框架以較少的計(jì)算時(shí)間和資源提供準(zhǔn)確的預(yù)測(cè)。

與基于基線搜索的算法相比，SSL-HPT 算法估計(jì)超參數(shù)的速度快了6-20倍，同時(shí)在各種應(yīng)用中產(chǎn)生了比較準(zhǔn)確的預(yù)測(cè)結(jié)果。

SSL：估算超參數(shù)速度快6-20倍

在時(shí)間序列分析(用于發(fā)現(xiàn)趨勢(shì)或預(yù)測(cè)未來(lái)值)中，超參數(shù)的細(xì)微差別可能導(dǎo)致給定模型的非常不同的預(yù)測(cè)結(jié)果。

因此，選擇最優(yōu)的超參數(shù)值顯得尤為重要。

大多數(shù)現(xiàn)有的超參數(shù)調(diào)整方法，如網(wǎng)格搜索、隨機(jī)搜索和貝葉斯最優(yōu)搜索，都是基于一個(gè)關(guān)鍵組件: 搜索。

因此，它們計(jì)算代價(jià)非常昂貴，不能應(yīng)用于快速、可擴(kuò)展的時(shí)間序列超參數(shù)調(diào)整。

研究人員提出的框架 SSL-HPT 使用時(shí)間序列特征作為輸入（不犧牲精確度的情況下），在較短的時(shí)間內(nèi)產(chǎn)生最佳的超參數(shù)。

那么，它們是如何工作的呢？

研究人員開(kāi)發(fā)的自監(jiān)督學(xué)習(xí)框架在預(yù)測(cè)時(shí)的兩個(gè)主要任務(wù): SSL-MS 和 SSL-HPT。

SSL-MS: SSL-MS 的自我監(jiān)督學(xué)習(xí)框架包括三個(gè)步驟，如下所示:

1 離線訓(xùn)練數(shù)據(jù)準(zhǔn)備: 獲得每個(gè)時(shí)間序列的時(shí)間序列特征和每個(gè)時(shí)間序列的最佳性能模型通過(guò)離線超參數(shù)調(diào)整。

2 離線訓(xùn)練: 利用步驟1中的數(shù)據(jù)訓(xùn)練分類器(自我監(jiān)督學(xué)習(xí)者) ，其中輸入特征(預(yù)測(cè)器)是時(shí)間序列特征，標(biāo)記是步驟1中性能最好的模型。

3 線模型預(yù)測(cè): 在線服務(wù)中，對(duì)于新的時(shí)間序列數(shù)據(jù)，提取特征，然后使用預(yù)先訓(xùn)練的分類器進(jìn)行推理，例如隨機(jī)森林模型。

SSL-MS 的工作流程可以自然地?cái)U(kuò)展到 SSL-HPT。

如下圖所示，給定一個(gè)模型，探索每個(gè)時(shí)間序列在預(yù)定義參數(shù)空間內(nèi)的所有超參數(shù)設(shè)置。

對(duì)于輸入 x，研究者在這里使用的時(shí)間序列特征與 SSL-MS 相同。

自監(jiān)督學(xué)習(xí)器一經(jīng)訓(xùn)練，就可以直接對(duì)超參數(shù)進(jìn)行預(yù)測(cè)，并針對(duì)任何新的時(shí)間序列數(shù)據(jù)產(chǎn)生預(yù)測(cè)結(jié)果。

最終，研究人員通過(guò)在內(nèi)部和外部數(shù)據(jù)集上對(duì)新型算法進(jìn)行了實(shí)證評(píng)估，并得到了相似的結(jié)論。

SSL 框架可以極大地提高模型選擇和超參數(shù)調(diào)整的效率，以可比的預(yù)測(cè)精度減少6-20倍的運(yùn)行時(shí)間。

預(yù)測(cè)為什么重要？

預(yù)測(cè)是 Facebook 的核心數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)任務(wù)之一，因此提供快速、可靠、準(zhǔn)確的預(yù)測(cè)結(jié)果和大量的時(shí)間序列數(shù)據(jù)對(duì)自身的業(yè)務(wù)非常重要。

這個(gè)框架的應(yīng)用包括容量規(guī)劃和管理、需求預(yù)測(cè)、能源預(yù)測(cè)和異常檢測(cè)。

計(jì)算技術(shù)的迅速發(fā)展使企業(yè)能夠跟蹤大量的時(shí)間序列數(shù)據(jù)集。因此，定期預(yù)測(cè)數(shù)百萬(wàn)個(gè)時(shí)間序列的需求正變得越來(lái)越普遍。

但是，要獲得大量時(shí)間序列的快速且準(zhǔn)確的預(yù)測(cè)仍然具有挑戰(zhàn)性。

Facebook新提出的 SSL 框架提供了一個(gè)高效的解決方案，以低計(jì)算成本和短運(yùn)行時(shí)間提供高質(zhì)量的預(yù)測(cè)結(jié)果。

這種方法獨(dú)立于特定的預(yù)測(cè)模型和算法，因此享有單個(gè)預(yù)測(cè)技術(shù)的優(yōu)勢(shì)，例如 Prophet 模型的可解釋性。

初步分析表明， SSL框架可以擴(kuò)展到模型推薦，并在Facebook內(nèi)部 AX 庫(kù)中增強(qiáng)貝葉斯優(yōu)化算法。

論文一作：普渡大學(xué)華人學(xué)者

這篇論文一作是普渡大學(xué)大學(xué)的研究員Peiyi Zhang。

Peiyi Zhang本科畢業(yè)于浙江大學(xué)，并在康奈爾大學(xué)獲得了碩士學(xué)位，普渡大學(xué)獲得了博士學(xué)位。

去年6月，她還在Facebook進(jìn)行了兩個(gè)月的實(shí)習(xí)。

Peiyi Zhang曾獲得洛杉磯市數(shù)據(jù)分析項(xiàng)目榮譽(yù)獎(jiǎng)、浙江大學(xué)學(xué)生科研訓(xùn)練計(jì)劃優(yōu)秀獎(jiǎng)、大學(xué)生數(shù)學(xué)建模競(jìng)賽優(yōu)秀獎(jiǎng)。

Xiaodong Jiang是本片論文的第二作者，他目前在Facebook工作，擔(dān)任基礎(chǔ)設(shè)施研究數(shù)據(jù)科學(xué)家，開(kāi)發(fā)通用時(shí)間序列分析工具。

他在佐治亞大學(xué)獲得了碩士和博士學(xué)位。

參考資料：

https://ai.facebook.com/blog/large-scale-forecasting-self-supervised-learning-framework-for-hyper-parameter-tuning/

編輯：jq