第36屆 SIGCOMM 于2022年8月22日-8月26日在荷蘭阿姆斯特丹召開。本次會議共收到279篇投稿，接收55篇論文，錄取率為19.71%。 ? 廈門大學(xué)SNG的同學(xué)們按照會議日程對論文內(nèi)容進(jìn)行了分期評述，本期介紹session6的論文。 ? Session?6:?Machine Learning

Genet: Automatic Curriculum Generation for Learning Adaptation in Networking

Zhengxu Xia (University of Chicago), Yajie Zhou (Boston University), Francis Y. Yan (Microsoft Research), Junchen Jiang (University of Chicago)

背景

這篇文章來自芝加哥大學(xué)，波士頓大學(xué)和微軟的研究者。它提出了一個(gè)針對增強(qiáng)學(xué)習(xí)的新框架Genet，利用課程學(xué)習(xí)(curriculum learning)自動搜索會給訓(xùn)練帶來實(shí)質(zhì)性改善的環(huán)境，逐步提供相對困難的環(huán)境以提高學(xué)習(xí)和訓(xùn)練效果。 ? 目前，增強(qiáng)學(xué)習(xí)在網(wǎng)絡(luò)領(lǐng)域的應(yīng)用已經(jīng)成為了熱點(diǎn)，但在實(shí)際應(yīng)用中仍存在一些限制條件，例如，（1）傳統(tǒng)RL訓(xùn)練中通常會從給定的訓(xùn)練范圍內(nèi)均勻地抽取網(wǎng)絡(luò)環(huán)境樣本，這使得在狹窄分布上進(jìn)行訓(xùn)練時(shí)泛化性較差（poor generalizability）；（2）在訓(xùn)練分布較廣的情況下也會出現(xiàn)不容易收斂的情況（poor converged）。因此，需要考慮如何改善RL訓(xùn)練，使學(xué)習(xí)到的適應(yīng)策略在廣泛的目標(biāo)網(wǎng)絡(luò)環(huán)境中取得良好的性能。
?

設(shè)計(jì)

為了解決上述問題，本文提出使用課程學(xué)習(xí)(curriculum learning)來改變RL訓(xùn)練環(huán)境的分布，引入新環(huán)境為模型提供越來越多的學(xué)習(xí)機(jī)會。逐漸增加了訓(xùn)練環(huán)境的難度，因此在訓(xùn)練中會看到更多更有可能改進(jìn)的環(huán)境，我們稱之為獎勵(lì)環(huán)境（reward environment）。在許多RL的應(yīng)用中，先前的工作已經(jīng)顯示了課程學(xué)習(xí)的前景，包括更快的收斂、更高的漸進(jìn)性能和更好的泛化。 ? 那么，隨之需要解決的問題是：我們?nèi)绾未_定哪些環(huán)境是對訓(xùn)練更有益的，也就是說如何按順序排列網(wǎng)絡(luò)環(huán)境，使得優(yōu)先考慮當(dāng)前RL策略的回報(bào)率高的環(huán)境。本文的工作提出這一觀點(diǎn)：如果當(dāng)前的RL模型與基線有很大的差距（gap-to-baseline），即RL策略的性能在環(huán)境中落后于傳統(tǒng)的基于規(guī)則的基線，則認(rèn)為環(huán)境是有價(jià)值的。 ? 基于這個(gè)觀點(diǎn)，設(shè)計(jì)出Genet這一學(xué)習(xí)框架。如圖所示，通過迭代識別當(dāng)前RL模型與基線有較大差距的獎勵(lì)環(huán)境，然后將其加入RL訓(xùn)練，從而生成RL訓(xùn)練課程。

對于每個(gè)RL用例，Genet對網(wǎng)絡(luò)環(huán)境空間進(jìn)行了參數(shù)化，使我們能夠在綜合實(shí)例化的環(huán)境和跟蹤驅(qū)動的環(huán)境中搜索到有價(jià)值的環(huán)境。Genet還使用貝葉斯優(yōu)化（BO）來促進(jìn)大空間中的搜索。 ?

評估

本文使用跟蹤驅(qū)動的模擬和真實(shí)世界的測試相結(jié)合，跨越三個(gè)用例（ABR、CC、LB），結(jié)果表明Genet與傳統(tǒng)的RL訓(xùn)練方法相比，ABR的漸進(jìn)性能提高了8-25%，CC提高了14-24%，LB提高了15%。

個(gè)人觀點(diǎn)

在增強(qiáng)學(xué)習(xí)逐步成為解決網(wǎng)絡(luò)領(lǐng)域重要問題的有效手段的背景下，本文工作者研究如果有效提升增強(qiáng)學(xué)習(xí)訓(xùn)練的效果，重點(diǎn)關(guān)注了訓(xùn)練環(huán)境對訓(xùn)練效果產(chǎn)生的影響，是一個(gè)具有實(shí)際意見的研究點(diǎn)，創(chuàng)新點(diǎn)在于利用課程學(xué)習(xí)的方法為訓(xùn)練不斷更新合適的環(huán)境。但如同在本文討論部分中提到的問題：gap-to-baseline值高或者低的環(huán)境是否總是意味著RL模型在對其進(jìn)行訓(xùn)練時(shí)有小或者大的改進(jìn)？本文在這一問題上所進(jìn)行的論證或者實(shí)驗(yàn)不是非常充分。 ?

LiteFlow: Towards High-performance Adaptive Neural Networks for Kernel Datapath

Junxue Zhang, Chaoliang Zeng (Hong Kong University of Science and Technology), Hong Zhang (UC Berkeley), Shuihai Hu, Kai Chen (Hong Kong University of Science and Technology)

背景

自適應(yīng)神經(jīng)網(wǎng)絡(luò)在變化的環(huán)境中可以實(shí)現(xiàn)超高性能，所以在操作系統(tǒng)kernel數(shù)據(jù)路徑中部署這些網(wǎng)絡(luò)表現(xiàn)出流行趨勢。然而，現(xiàn)有的部署方法存在局限性。一種部署的方法是部署在user-space，然而，這樣的方法導(dǎo)致很高的cross-space 通信開銷和低響應(yīng)，極大影響了函數(shù)性能；另一種方法是部署到純kernel-space，但這種方法會導(dǎo)致很大的性能下降，因?yàn)榈湫偷哪Ｐ臀⒄{(diào)的算法的計(jì)算邏輯十分復(fù)雜，干擾了正常的datapath的執(zhí)行性能。模型推理要求快速執(zhí)行，適合kernel-space，模型微調(diào)要求高精度和大量的計(jì)算，適合部署在user-space。 ?

設(shè)計(jì)

基于以上的觀察，一種符合直覺的方法是解耦自適應(yīng)神經(jīng)網(wǎng)絡(luò)的控制路徑：模型推理放到kenel-space，模型微調(diào)放到user-space。 ? 然而，實(shí)現(xiàn)這個(gè)思路有3個(gè)挑戰(zhàn)：1. 這樣的設(shè)計(jì)要求兩個(gè)目標(biāo)：既兼容kenel-space，又兼容user-space，要求大量的開發(fā)和debug；2.kernel-space的神經(jīng)網(wǎng)絡(luò)不能及時(shí)體現(xiàn)神經(jīng)網(wǎng)絡(luò)微調(diào)的結(jié)果；3.在user-space訓(xùn)練要求從kernel-space的數(shù)據(jù)傳輸，導(dǎo)致性能下降。 ? 為了解決這些挑戰(zhàn)，作者提出LiteFlow。LiteFlow將自適應(yīng)神經(jīng)網(wǎng)絡(luò)的控制路徑解耦為：為高效模型推理的kernel space快速路徑，為有效模型微調(diào)的user space慢速路徑。設(shè)計(jì)框架上，Lite Flow是一個(gè)混合框架，它包括user-space的組件和kernel-space的組件。給定一個(gè)user-space的神經(jīng)網(wǎng)絡(luò)，LiteFlow首先生成神經(jīng)網(wǎng)絡(luò)快照，該快照將被部署到kernel-space以實(shí)現(xiàn)快速推理。同時(shí)，LiteFlow也收集該快照的輸入和輸出數(shù)據(jù)來進(jìn)一步微調(diào)user-space的神經(jīng)網(wǎng)絡(luò)。在訓(xùn)練幾批數(shù)據(jù)后，LiteFlow將評估是否需要更新快照。

評估

作者在congestion control（Aurora和MOCC模型），flow scheduling（FFNN模型）和path selection（MLP模型）任務(wù)中評估了LiteFlow的效果。在congestion control中，神經(jīng)網(wǎng)絡(luò)的輸入是RTT，ECN等這些擁塞信號，輸出是流的發(fā)送速率。Aurora使用強(qiáng)化學(xué)習(xí)算法，利用2層全連接層；MOCC使用多目標(biāo)強(qiáng)化學(xué)習(xí)，用2層全連接層，提升了Aurora的設(shè)計(jì)。對比方法選擇的是純user-space發(fā)布，傳統(tǒng)在kernel-space發(fā)布。實(shí)驗(yàn)結(jié)果顯示，LiteFlow可以實(shí)現(xiàn)更高的有效吞吐量，分別超出44.4%和26.6%，此外，吞吐量的標(biāo)準(zhǔn)差也更小，說明LiteFlow緩解了cross-space通信。為了測試在線自適應(yīng)能力，作者禁用LiteFlow的神經(jīng)網(wǎng)絡(luò)自適應(yīng)功能，實(shí)驗(yàn)結(jié)果表明goodput顯著下降。 ? 在開銷方面，使用LiteFlow部署的性能和kernel-space的相近，超出user-space的性能，表明緩解cross-space的開銷是重要的。為了理解批數(shù)據(jù)不同傳輸間隔的影響，作者也進(jìn)行相關(guān)實(shí)驗(yàn)，結(jié)果表明所花費(fèi)的時(shí)間不超過14.1%。 ? 此外，LiteFlow在高吞吐量時(shí)性能下降不超過5%。 ? 在flow scheduling場景中，作者對比了FFNN在user-space和LiteFlow的FFNN，預(yù)測延遲和flow completion time的實(shí)驗(yàn)結(jié)果表明，LiteFlow的延遲更低，在flow completion time上表現(xiàn)更優(yōu)。 ? 在load balancing上，作者使用的神經(jīng)網(wǎng)絡(luò)是MLP，對比的方法是user-space方式和禁止更新的LiteFlow，結(jié)果表明LiteFlow在短流和長流上都超出對比方法。 ?

總結(jié)

LiteFlow通過將kernel-space、user-spcae與inference、training分別對齊，實(shí)現(xiàn)了自適應(yīng)神經(jīng)網(wǎng)絡(luò)的高性能推理、基于反饋更新。實(shí)驗(yàn)結(jié)果證明了方法有效。 ?

個(gè)人觀點(diǎn)

神經(jīng)網(wǎng)絡(luò)的推理引擎已經(jīng)有很多，比如mnn等。然而，考慮到在線學(xué)習(xí)維度，當(dāng)前的推理引擎和訓(xùn)練引擎都不能很好滿足。這篇論文分析了神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理的特點(diǎn)、user-sapce和kernel-sapce的特點(diǎn)，然后設(shè)計(jì)LiteFlow將之對齊，彌補(bǔ)了之前的研究空白。 ?

Multi-Resource Interleaving for Deep Learning Training

Yihao Zhao, Yuanqiang Liu (Peking University), Yanghua Peng, Yibo Zhu (ByteDance Inc.), Xuanzhe Liu, Xin Jin (Peking University)

背景

訓(xùn)練深度學(xué)習(xí)模型正在成為計(jì)算集群的重要負(fù)載之一。該訓(xùn)練過程需要多種資源，包括CPU，GPU，存儲IO，網(wǎng)絡(luò)IO。在典型的多任務(wù)場景下，如何為不同作業(yè)分配合適的資源是一個(gè)經(jīng)典調(diào)度問題。然而，現(xiàn)有的深度學(xué)習(xí)調(diào)度器聚焦在GPU分配上，忽視了其他類型資源的調(diào)度。 ?

設(shè)計(jì)

為了實(shí)現(xiàn)多種資源的高效調(diào)度，作者提出了深度學(xué)習(xí)訓(xùn)練作業(yè)的key observations：訓(xùn)練深度學(xué)習(xí)模型表現(xiàn)出明顯的階段性，這樣的階段迭代進(jìn)行。這個(gè)現(xiàn)象為時(shí)間上細(xì)粒度的多資源交替使用創(chuàng)造了條件。比如，深度學(xué)習(xí)訓(xùn)練的每個(gè)階段包括數(shù)據(jù)加載、預(yù)處理、前向和反向傳播、梯度同步操作。每個(gè)子階段都高度使用一種資源，這使不同作業(yè)的不同階段在資源集合上交替執(zhí)行成為可能。 ? 作者提出Muri。Muri的核心思想是調(diào)度多個(gè)作業(yè)對資源的交替使用來最大化資源利用率或作業(yè)完成時(shí)間。Muri把交替作業(yè)調(diào)度問題建模為k維最大帶權(quán)匹配問題，采用Blossom算法為單個(gè)GPU作業(yè)在兩種資源類型之間找到最佳組合計(jì)劃，并且使用多輪方法來處理超過兩種資源的情況。 ? 在架構(gòu)上，Muri包括3個(gè)組件：resource profiler，job scheduler、worker monitor。 ? resource profiler負(fù)責(zé)測量每個(gè)job對每種資源的利用情況，并估計(jì)不同作業(yè)交替時(shí)的效率；job scheduler維護(hù)一個(gè)job queue，當(dāng)job到達(dá)或job完成時(shí)，基于不同job group的交替效率和resource profiler的信息，job scheduler使用多輪job 聚類算法來決定哪些job組成群體來共享資源，從而實(shí)現(xiàn)資源利用最大化；worker monitor負(fù)責(zé)收集每臺機(jī)器的資源信息并跟蹤每個(gè)job的訓(xùn)練進(jìn)度。最后，基于job scheduler生成的策略，每臺機(jī)器上會配備Muri executor，它負(fù)責(zé)將策略具體執(zhí)行。

評估

作者建立了Muri原型，并集成到PyTorch中。實(shí)驗(yàn)評估選擇在一個(gè)8臺機(jī)器，每臺機(jī)器配備8個(gè)GPU、2個(gè)Xeon Platinum、256GB內(nèi)存、1個(gè)Mellanox CX-5單口網(wǎng)卡的集群上進(jìn)行。作者使用了Microsoft的trace。在作業(yè)時(shí)間已知時(shí)，選擇SRSF和2D-LAS作為對比方法；在作業(yè)時(shí)間未知時(shí)，選擇Tiresias，AntMan和Themis作為對比方法。實(shí)驗(yàn)結(jié)果表明，和現(xiàn)有的深度學(xué)習(xí)調(diào)度器相比，Muri在JCT方面提升3倍，在makespan上提升1.6倍。 ?

總結(jié)

作者觀察到深度學(xué)習(xí)作業(yè)存在階段迭代特征，聯(lián)系到這些作業(yè)的訓(xùn)練會使用多種類型資源，因此提出使用多資源交替來提升集群和作業(yè)效率。作者首先把調(diào)度問題建模為k維最大帶權(quán)匹配問題，然后使用Blossom算法求解最佳組合計(jì)劃。實(shí)驗(yàn)效果驗(yàn)證了該方法可以提升資源效率和作業(yè)完成時(shí)間。 ?

個(gè)人觀點(diǎn)

盡管作者在文中做了大量努力來區(qū)分Muri與pipeline，但本人覺得Muri可以看作是pipeline擴(kuò)到到multi-job時(shí)的調(diào)度問題，因此研究問題的價(jià)值有限。會議上，有人問到的2個(gè)問題：一是關(guān)于multi-job的交替執(zhí)行安全性問題，二是關(guān)于profiler準(zhǔn)確性問題。和提問者一樣，個(gè)人對這2點(diǎn)也持保留意見，作者在會議上的答復(fù)并不令人信服。 ?

DeepQueueNet: Towards Scalable and Generalized Network Performance Estimation with Packet-level Visibility

Qing-Qing Yang, Xi Peng (Huawei Theory Lab), Li Chen (Zhongguancun Laboratory), Libin Liu (Shandong Computer Science Center), Jingze Zhang, Hong Xu (Chinese University of Hong Kong), Baochun Li (University of Toronto), Gong Zhang (Huawei Theory Lab)

這篇工作來自華為理論實(shí)驗(yàn)室，中關(guān)村實(shí)驗(yàn)室，香港中文大學(xué)，山東省計(jì)算機(jī)科學(xué)中心和多倫多大學(xué)的多位研究者。通過將基于可擴(kuò)展DNN的連續(xù)仿真與離散事件仿真相結(jié)合，提出了一種可擴(kuò)展的、可推廣的、具有包級可見性的網(wǎng)絡(luò)性能估計(jì)器DeepQueueNet。 ?

背景

網(wǎng)絡(luò)模擬器是網(wǎng)絡(luò)操作人員理解實(shí)際應(yīng)用任務(wù)網(wǎng)絡(luò)的重要工具，可以幫助完成容量規(guī)劃、拓?fù)湓O(shè)計(jì)和參數(shù)調(diào)優(yōu)等任務(wù)。目前，主流的模擬器都是基于離散事件模擬的，它們的性能無法適應(yīng)現(xiàn)代網(wǎng)絡(luò)的規(guī)模。同時(shí)，隨著基于深度學(xué)習(xí)的技術(shù)被引入來解決可擴(kuò)展性問題，本文工作者通過實(shí)驗(yàn)表明它們的模擬結(jié)果的可見性很差，并且不能推廣到不同的場景。因此，我們需要一個(gè)具有更好的通用性，更高的可擴(kuò)展性，并且在數(shù)據(jù)包級別具有可見性的網(wǎng)絡(luò)模擬器。 ?

設(shè)計(jì)

本文結(jié)合了離散事件模擬 (DES) 和連續(xù)模擬，提出了一個(gè)高層次的設(shè)計(jì)方法：首先建立一個(gè)理論基礎(chǔ)來盡可能多地表達(dá)我們對網(wǎng)絡(luò)的先驗(yàn)知識，然后識別數(shù)學(xué)上難以處理或計(jì)算量大的部分，最后將這些部分替換為可以使用真實(shí)數(shù)據(jù)跟蹤訓(xùn)練的 DNN。按照這一思路，本文縮小 DNN 在端到端性能評估器 (EPE) 中的應(yīng)用范圍——從網(wǎng)絡(luò)/集群規(guī)模到設(shè)備規(guī)模，僅使用 DNN 來對設(shè)備本地交通管理 (TM) 機(jī)制進(jìn)行建模。本文使用兩個(gè)子模型組成設(shè)備模型：數(shù)據(jù)包級轉(zhuǎn)發(fā)模型（PFM）和數(shù)據(jù)包級 TM 模型（PTM）。PFM 指定轉(zhuǎn)發(fā)行為，可以使用給定路由表的張量乘法來明確描述。PTM 預(yù)測每個(gè)數(shù)據(jù)包經(jīng)歷多少延遲。 ? 如圖所示為DeepQueueNet的架構(gòu)，由五個(gè)核心組件組成：（1）設(shè)備模型實(shí)用程序 (DUtil) 生成經(jīng)過訓(xùn)練的設(shè)備模型；（2）設(shè)備模型庫 (DLib) 存儲和索引經(jīng)過訓(xùn)練的設(shè)備模型，包括交換機(jī)、路由器和鏈路；（3）流量生成實(shí)用程序 (TGUtil) 根據(jù)用戶規(guī)范創(chuàng)建流量生成器 (TGen)；（4）模擬設(shè)置模塊 (SInit) 解析用戶輸入并設(shè)置模擬；（5）模擬執(zhí)行模塊 (SRun) 運(yùn)行模擬。與現(xiàn)有 DES 實(shí)現(xiàn)的工作流程相同類似，DeepQueueNet 通過以下步驟完成任務(wù)：準(zhǔn)備模擬設(shè)置（拓?fù)洹⒃O(shè)備配置和流量生成器）、運(yùn)行模擬、收集數(shù)據(jù)包跟蹤以及通過將任意度量應(yīng)用于結(jié)果進(jìn)行分析。

評估

1)準(zhǔn)確性：與最先進(jìn)的基于 DNN 的 EPE相比，DeepQueueNet 在所有場景中的平均和第 99 個(gè)百分位往返時(shí)間 (RTT) 均實(shí)現(xiàn)了卓越的準(zhǔn)確性。 ? 2)泛化性：通過大量實(shí)驗(yàn)表明，DeepQueueNet 關(guān)于歸一化 wasserstein distance的估計(jì)精度在拓?fù)洹M配置和流量生成模型的變化中仍然很高，無需重新訓(xùn)練模型。 ? 3)可擴(kuò)展性：展示了DeepQueueNet可以使用多個(gè)GPU 并行加速。本文在4-GPU集群上部署DeepQueueNet，它展示了隨著 GPU 數(shù)量的近線性加速。 ?

個(gè)人觀點(diǎn)

這篇論文的工作量十分扎實(shí)，提出的DeepQueueNet系統(tǒng)框架的建模也較為復(fù)雜。創(chuàng)新地將主流的網(wǎng)絡(luò)模擬器從離散事件拓展到基于DNN的連續(xù)模擬與離散事件模擬相結(jié)合，基于先驗(yàn)知識縮小DNN的應(yīng)用范圍。這些方法較為新穎，但是由于個(gè)人水平有限，對于整個(gè)系統(tǒng)的設(shè)計(jì)細(xì)節(jié)還未有更深入的理解，期待看到這個(gè)工作在更多評估實(shí)驗(yàn)和實(shí)際應(yīng)用中的性能測試。 ?

Practical GAN-based Synthetic IP Header Trace Generation using NetShar

Yucheng Yin, Zinan Lin, Minhao Jin, Giulia Fanti, Vyas Sekar (Carnegie Mellon University)

本文來自卡內(nèi)基·梅隆大學(xué)的研究者，它探索了使用生成對抗網(wǎng)絡(luò) (GAN) 自動學(xué)習(xí)生成模型以生成用于網(wǎng)絡(luò)任務(wù)（例如遙測、異常檢測、配置）的數(shù)據(jù)包和流級別的標(biāo)頭跟蹤（Packet- and flow-level header traces）的可行性，并開發(fā)出一個(gè)端到端框架NetShare ?

背景

數(shù)據(jù)包和流級別的標(biāo)頭跟蹤對于許多網(wǎng)絡(luò)管理工作流至關(guān)重要。它們用于指導(dǎo)網(wǎng)絡(luò)監(jiān)控算法的設(shè)計(jì)和開發(fā)，開發(fā)新型異常檢測和指紋識別以及用于基準(zhǔn)測試去檢驗(yàn)新的硬件和軟件功能。由于隱私性等問題，我們無法直接訪問此類痕跡。往往通過合成痕跡（synthetic traces）來實(shí)現(xiàn)。目前，存在通過模擬驅(qū)動方法（simulation-driven）、模型驅(qū)動方法（model-driven）和機(jī)器學(xué)習(xí)模型（machine learning models）的方法生成合成痕跡的工作，但這些方法都各自存在問題：比如說基于模擬和模型驅(qū)動的方法需要大量的領(lǐng)域知識和人力來確定關(guān)鍵的工作負(fù)載特性和配置生成參數(shù)，同時(shí)不能很好地跨應(yīng)用程序進(jìn)行泛化。基于機(jī)器學(xué)習(xí)的方法容易泛化，但無法捕獲特定領(lǐng)域的屬性。 ? 因此在這項(xiàng)工作中，研究者探索了使用生成式對抗網(wǎng)絡(luò)生成基于ML的合成包頭和流頭跟蹤的可行性，并設(shè)計(jì)出NetShare用來產(chǎn)生合成痕跡從而解決上述問題。 ?

設(shè)計(jì)

1）本文將標(biāo)頭跟蹤生成（header trace generation）重新表述為一個(gè)時(shí)間序列生成問題，即生成整個(gè)跟蹤的流量記錄，而不是每個(gè)epoch的表格方法。 ?

2）本文使用領(lǐng)域知識和機(jī)器學(xué)習(xí)的細(xì)致組合來告知標(biāo)頭字段的表示，以平衡保真度-隱私-可擴(kuò)展性的權(quán)衡。 ? 本文不是在原始數(shù)據(jù)表示上訓(xùn)練GAN，而是使用領(lǐng)域知識將某些領(lǐng)域轉(zhuǎn)換為更易于 GAN 處理的格式。對于具有數(shù)字語義的字段，例如每個(gè)流的數(shù)據(jù)包/字節(jié)數(shù)，我們使用對數(shù)轉(zhuǎn)換。對于 IP 地址/端口號/協(xié)議等分類字段，使用 IP 地址的按位編碼，使用 IP2Vec 對端口號和協(xié)議進(jìn)行編碼。表格顯示了針對 IP/端口的不同嵌入選擇在保真度、可擴(kuò)展性和隱私性方面的定性分析。

3）本文可以通過微調(diào)和并行訓(xùn)練來提高可擴(kuò)展性和保真度的權(quán)衡。 ? 首先，本文工作者從 ML文獻(xiàn)中借用微調(diào)的想法，即：使用預(yù)訓(xùn)練模型作為“熱啟動”來為未來模型進(jìn)行種子訓(xùn)練。具體來說，使用第一個(gè)塊作為“種子”塊來進(jìn)行熱啟動，隨后的塊使用從第一個(gè)塊訓(xùn)練的模型進(jìn)行微調(diào)，這允許跨塊進(jìn)行并行訓(xùn)練。同時(shí)本文們將“flowtags”附加到每個(gè)flowheader以捕獲塊間的相關(guān)性，用0-1標(biāo)志注釋每個(gè)流標(biāo)頭，表示它是否從“this”塊開始，還在標(biāo)志之后附加一個(gè)0-1向量，其長度等于塊的總數(shù)，每個(gè)位指示流標(biāo)頭是否出現(xiàn)在該特定塊中。

? 4）本文可以通過謹(jǐn)慎使用公共數(shù)據(jù)集來改善隱私-保真度的權(quán)衡。在 NetShare 中，研究者利用以下觀察結(jié)果：通過在相關(guān)公共數(shù)據(jù)集上預(yù)訓(xùn)練 NetShare，可以減少達(dá)到固定保真度水平所需的 DP-SGD 輪數(shù)；然后，再從公共數(shù)據(jù)集中獲取學(xué)習(xí)參數(shù)，并使用 DP-SGD 3 這些在私有數(shù)據(jù)集上進(jìn)行微調(diào)。這樣做可以減少了所需的 DP-SGD 迭代次數(shù)。

評估

我們在六個(gè)不同的數(shù)據(jù)包頭跟蹤上評估 NetShare，結(jié)果表明 ： ? 1) 在所有的分布指標(biāo)和跟蹤中，NetShare比使用不同生成式建模技術(shù)的基線方法的準(zhǔn)確率高出46%。 2) NetShare滿足了用戶對下游任務(wù)的要求，保持了算法的準(zhǔn)確性和有序性。 3) NetShare實(shí)現(xiàn)了比基線更好的可擴(kuò)展性-保真度權(quán)衡。 4) 與基線方法相比，NetShare可以產(chǎn)生更高質(zhì)量的差異化的私有痕跡。 ?

個(gè)人觀點(diǎn)

這也是一篇應(yīng)用深度學(xué)習(xí)領(lǐng)域技術(shù)解決網(wǎng)絡(luò)問題的工作，創(chuàng)新點(diǎn)在于提出使用GAN來生成數(shù)據(jù)包和流級別的標(biāo)頭跟蹤，是一個(gè)值得深入研究的方向。在本文中，針對生成的標(biāo)頭跟蹤在實(shí)際網(wǎng)絡(luò)任務(wù)中的實(shí)驗(yàn)結(jié)果不是很多，并且對于提出的端到端框架NetShare的可拓展性缺乏說明。 ? ?