Source: Shao-Peng Yang, Minjae Kim, Sanghyun Nam, Juhyung Park, Jin-yong Choi, Eyee Hyun Nam, Eunji Lee, Sungjin Lee, Bryan S. Kim, Overcoming the MemoryWall with CXL-Enabled SSDs, July 10, 2023

本文探討了使用廉價(jià)閃存內(nèi)存（flash memory）在新型互連技術(shù)（如CXL）上以應(yīng)對(duì)“內(nèi)存墻”的可行性。我們探索了CXL啟用的閃存設(shè)備的設(shè)計(jì)空間，并展示了緩存和預(yù)取等技術(shù)可以幫助緩解有關(guān)閃存性能和壽命的擔(dān)憂。我們通過(guò)使用真實(shí)世界的應(yīng)用程序跟蹤數(shù)據(jù)展示，這些技術(shù)使得CXL設(shè)備的估計(jì)壽命至少為3.1年，并能在微秒級(jí)內(nèi)滿足68-91%的內(nèi)存請(qǐng)求。我們分析了現(xiàn)有技術(shù)的局限性，并提出了系統(tǒng)層面的變更來(lái)實(shí)現(xiàn)使用閃存的DRAM級(jí)性能。

01.?引言

在計(jì)算系統(tǒng)中，計(jì)算能力和內(nèi)存容量需求之間的日益不平衡發(fā)展成為一個(gè)稱為“內(nèi)存墻”的挑戰(zhàn)[23,34,52]。圖1基于Gholami等人的數(shù)據(jù)[34]，并擴(kuò)展了更多的最新數(shù)據(jù)[11,30,43]，展示了自然語(yǔ)言處理（NLP）模型的快速增長(zhǎng)（每年14.1倍），遠(yuǎn)遠(yuǎn)超過(guò)了內(nèi)存容量的增長(zhǎng)（每年1.3倍）。“內(nèi)存墻”迫使現(xiàn)代數(shù)據(jù)密集型應(yīng)用，如數(shù)據(jù)庫(kù)[8,10,14,20]、數(shù)據(jù)分析[1,35]和機(jī)器學(xué)習(xí)（ML）[45,48,66]，要么意識(shí)到它們的內(nèi)存使用情況[61]，要么實(shí)現(xiàn)用戶級(jí)內(nèi)存管理[66]以避免昂貴的頁(yè)面交換[37,53]。因此，在透明處理應(yīng)用程序的情況下突破“內(nèi)存墻”是一個(gè)活躍的研究領(lǐng)域；已經(jīng)積極探索了一些方法，如創(chuàng)建面向ML系統(tǒng)[45,48,61]，構(gòu)建內(nèi)存解耦合框架[36,37,52,69]和設(shè)計(jì)新的內(nèi)存架構(gòu)[23,42]。

圖1: NLP應(yīng)用程序內(nèi)存需求的趨勢(shì) [11,30,34,43]。每年參數(shù)數(shù)量增加了14.1倍，而GPU的內(nèi)存容量每年只增長(zhǎng)了1.3倍

我們探討了是否可以使用閃存內(nèi)存來(lái)突破“內(nèi)存墻”——這是一種通常用于存儲(chǔ)的內(nèi)存技術(shù)，因?yàn)槠渚哂懈呙芏群腿萘繑U(kuò)展性[59]。雖然DRAM只能擴(kuò)展到幾GB的容量，但基于閃存的固態(tài)硬盤(pán)（SSD）可達(dá)到TB級(jí)的容量[23]，足夠大以應(yīng)對(duì)“內(nèi)存墻”的挑戰(zhàn)。閃存內(nèi)存作為主內(nèi)存的使用得益于最近出現(xiàn)的諸如CXL[3]、Gen-Z[7]、CCIX[2]和OpenCAPI[12]的互連技術(shù)，它們?cè)试S通過(guò)load/store指令直接由CPU訪問(wèn)PCIe（Peripheral Component Interconnect Express）設(shè)備。此外，這些技術(shù)承諾具有出色的可擴(kuò)展性，因?yàn)榭梢酝ㄟ^(guò)交換機(jī)連接更多的PCIe設(shè)備[13]，而不像用于DRAM的DIMM（雙列直插式內(nèi)存模塊）。

然而，將閃存內(nèi)存作為CPU可訪問(wèn)的主內(nèi)存面臨著三個(gè)主要挑戰(zhàn)。

首先，內(nèi)存請(qǐng)求與閃存內(nèi)存之間存在顆粒度不匹配。這導(dǎo)致了在閃存上需要存在明顯的流量放大，除了已有的閃存間接性需求[23,33]之外：例如，將64B的緩存行刷新到CXL啟用的閃存，將導(dǎo)致16KiB的閃存內(nèi)存頁(yè)面讀取、64B更新和16KiB的閃存程序?qū)懭氲搅硪粋€(gè)位置（假設(shè)16KiB的頁(yè)面級(jí)映射）。

其次，閃存內(nèi)存的速度仍然比DRAM慢幾個(gè)數(shù)量級(jí)（幾微秒對(duì)比幾納秒）[5,24]。因此，雖然兩種技術(shù)之間的峰值數(shù)據(jù)傳輸速率相似[4,15]，但長(zhǎng)時(shí)間的閃存內(nèi)存延遲阻礙了持續(xù)性性能，因?yàn)閿?shù)據(jù)密集型應(yīng)用最多只能容忍微秒級(jí)的延遲[53]。

最后，閃存內(nèi)存具有有限的耐久性，在經(jīng)過(guò)多次寫(xiě)入后會(huì)磨損[24,44]。這限制了內(nèi)存技術(shù)的可用性，因?yàn)槌^(guò)耐久性限制的閃存內(nèi)存塊會(huì)表現(xiàn)出不可靠的行為和高錯(cuò)誤率[44]。 ?

我們通過(guò)探索設(shè)計(jì)選擇來(lái)解決上述閃存內(nèi)存的挑戰(zhàn)，特別是與緩存和預(yù)取相關(guān)的選項(xiàng)，從而使得CXL啟用的閃存設(shè)備（或稱為CXL-flash）能夠克服“內(nèi)存墻”。盡管之前的研究已經(jīng)探討了多個(gè)CXL設(shè)備的可擴(kuò)展性方面 [36,42]，并且已經(jīng)證明了CXL-flash的可行性 [9,42]，但據(jù)我們所知，我們是第一個(gè)對(duì)CXL-flash設(shè)備的設(shè)計(jì)選擇以及現(xiàn)有優(yōu)化技術(shù)的有效性進(jìn)行深入開(kāi)源研究的工作。由于設(shè)計(jì)空間很大，我們首先在第4節(jié)中探索了CXL-flash硬件設(shè)計(jì)，然后在第5節(jié)中對(duì)詳細(xì)策略和算法進(jìn)行評(píng)估和分析。我們發(fā)現(xiàn)可以使用真實(shí)應(yīng)用程序的內(nèi)存跟蹤數(shù)據(jù)設(shè)計(jì)CXL-flash，使得68-91%的請(qǐng)求可以在微秒級(jí)內(nèi)實(shí)現(xiàn)延遲，并具有至少3.1年的估計(jì)壽命。在探索各種設(shè)計(jì)和策略的同時(shí)，我們進(jìn)行了七項(xiàng)觀察，這些觀察共同表明現(xiàn)代預(yù)取算法不適合預(yù)測(cè)CXL-flash的內(nèi)存訪問(wèn)模式。更具體地說(shuō)，虛擬地址到物理地址的轉(zhuǎn)換使得現(xiàn)有的預(yù)取器無(wú)法足夠有效地執(zhí)行。為了解決這個(gè)問(wèn)題，我們探索了從內(nèi)核向CXL-flash傳遞內(nèi)存訪問(wèn)提示來(lái)進(jìn)一步提高性能。本工作的貢獻(xiàn)如下：

我們開(kāi)發(fā)了一種新型工具，用于收集應(yīng)用程序的物理內(nèi)存訪問(wèn)軌跡，并用這些軌跡模擬了CXL-flash的行為。內(nèi)存跟蹤工具和CXL-flash模擬器的代碼都可以在（https://github.com/spypaul/MQSim_CXL.git）上獲取。

通過(guò)使用合成工作負(fù)載，我們展示了將各種系統(tǒng)設(shè)計(jì)技術(shù)（如緩存和預(yù)取）集成到CXL-flash中，有潛力顯著減少延遲，同時(shí)突顯了優(yōu)化的機(jī)會(huì)。（第4節(jié)）

使用真實(shí)世界的工作負(fù)載，我們分析了當(dāng)前預(yù)取器的局限性，并提出了用于未來(lái)CXL-flash的系統(tǒng)級(jí)變更，以實(shí)現(xiàn)接近DRAM的性能，特別是設(shè)備的子微秒級(jí)延遲。（第5節(jié)）

02.?背景

在本節(jié)中，我們首先描述了CXL（Compute Express Link）[3]作為基于PCIe的內(nèi)存一致性互連技術(shù)（包括Gen-Z [7]、CCIX [2]和OpenCAPI [12]）所帶來(lái)的機(jī)遇。然后，我們討論了在CXL中使用閃存內(nèi)存的挑戰(zhàn)。 2.1 CXL帶來(lái)的機(jī)遇 CXL是一種建立在PCIe之上的新型互連協(xié)議，將CPU、加速器和內(nèi)存設(shè)備集成到單一計(jì)算域中 [42]。這種集成的主要好處有兩個(gè)。

首先，它允許CPU和PCIe設(shè)備之間進(jìn)行一致的內(nèi)存訪問(wèn)。這減少了通常需要在CPU和設(shè)備之間進(jìn)行數(shù)據(jù)傳輸時(shí)所需的同步開(kāi)銷。

其次，CXL設(shè)備的數(shù)量可以很容易地進(jìn)行擴(kuò)展：通過(guò)CXL交換機(jī)，可以連接另一組CXL設(shè)備到CPU。 ?

在CXL支持的三種類型的設(shè)備中，對(duì)于內(nèi)存擴(kuò)展的Type 3設(shè)備對(duì)本工作是感興趣的。Type 3設(shè)備公開(kāi)了主機(jī)管理的設(shè)備內(nèi)存（HDM，host-managed device memory），CXL協(xié)議允許主機(jī)CPU通過(guò)load/store指令直接操作設(shè)備內(nèi)存 [3]。雖然CXL目前只考慮DRAM和PMEM作為主要的內(nèi)存擴(kuò)展設(shè)備，但由于CXL的一致性內(nèi)存訪問(wèn)特性[42]，使用SSD也是可能的。 此外，基于閃存的SSD的高容量和更好的擴(kuò)展性，通過(guò)3D堆疊[59]和在一個(gè)單元中存儲(chǔ)多位[24]，可以有效地解決現(xiàn)代數(shù)據(jù)密集型應(yīng)用所面臨的“內(nèi)存墻”問(wèn)題。受之前關(guān)于CXL的工作的啟發(fā)[36,42]，本文研究了使用閃存內(nèi)存作為CXL內(nèi)存擴(kuò)展設(shè)備的可行性。 2.2 閃存的挑戰(zhàn) 我們討論以下三個(gè)閃存的特點(diǎn)，這使得將其用作系統(tǒng)的主內(nèi)存具有挑戰(zhàn)性。 粒度不匹配。閃存不是隨機(jī)訪問(wèn)的：其數(shù)據(jù)以頁(yè)粒度寫(xiě)入和讀取，每個(gè)頁(yè)的大小約為幾千字節(jié)[33]，導(dǎo)致大量的流量放大。此外，頁(yè)不能被覆蓋寫(xiě)入。相反，必須首先擦除一個(gè)包含數(shù)百個(gè)頁(yè)的塊，然后才能寫(xiě)入數(shù)據(jù)到已擦除的頁(yè)[33]。這種受限的接口導(dǎo)致任何64B緩存行刷新通過(guò)讀取-修改-寫(xiě)入操作產(chǎn)生大量的寫(xiě)放大。作為一個(gè)塊設(shè)備，其訪問(wèn)粒度要大得多（4KiB）的SSD擁有更少的開(kāi)銷。 微秒級(jí)延遲。閃存的速度比DRAM慢幾個(gè)數(shù)量級(jí)，其讀取速度仍在幾十微秒范圍內(nèi)，而較慢的編程和擦除操作則在幾百微秒到幾千微秒之間[5,24]。此外，閃存的延遲還取決于其單元技術(shù)[24]。例如，表1中所示，隨著每個(gè)單元存儲(chǔ)的位數(shù)增加，從SLC（單級(jí)單元）到TLC（三級(jí)單元），延遲也會(huì)增加。超低延遲（ULL）閃存是SLC的一種變體，以性能為代價(jià)提高了密度[46,76]。然而，即使是ULL技術(shù)，其速度仍比DRAM慢幾個(gè)數(shù)量級(jí)。作為一個(gè)塊設(shè)備，微秒級(jí)的延遲是可以容忍的，因?yàn)榇鎯?chǔ)棧中存在軟件開(kāi)銷。然而，對(duì)于直接使用load/store指令訪問(wèn)的內(nèi)存設(shè)備來(lái)說(shuō)，微秒級(jí)延遲是一個(gè)挑戰(zhàn)。

表1: 內(nèi)存技術(shù)特性概述

有限的耐久性。編程和擦除操作期間施加在閃存上的高電壓會(huì)慢慢使單元失效，使它們隨著時(shí)間的推移無(wú)法使用[44,72]。存儲(chǔ)器制造商規(guī)定了耐久性極限作為一個(gè)指導(dǎo)，表示閃存塊可以被擦除的次數(shù)。這個(gè)限制也取決于閃存技術(shù)，如表1所示。雖然這仍然是一個(gè)軟限制，閃存超過(guò)限制后仍然可以繼續(xù)使用[72]，但是磨損的塊表現(xiàn)出不可靠的行為，并且不能保證正確存儲(chǔ)數(shù)據(jù)[44]。由于應(yīng)用程序級(jí)和內(nèi)核級(jí)的緩存和緩沖，SSD的塊接口的寫(xiě)入量減少，因此當(dāng)前的耐久性限制在SSD的壽命內(nèi)通常是足夠的。然而，作為內(nèi)存設(shè)備，頻繁的內(nèi)存寫(xiě)入會(huì)使閃存內(nèi)存快速變得無(wú)法使用。 我們注意到，雖然這些閃存的挑戰(zhàn)在存儲(chǔ)領(lǐng)域中也存在，但是它們由SSD的內(nèi)部固件處理。然而，對(duì)于CXL-flash，由于時(shí)間尺度更細(xì)，這些挑戰(zhàn)應(yīng)該由硬件來(lái)解決，這使得實(shí)現(xiàn)靈活和優(yōu)化的算法變得困難。因此，我們預(yù)期將閃存內(nèi)存從存儲(chǔ)領(lǐng)域移動(dòng)到內(nèi)存領(lǐng)域時(shí)，這些挑戰(zhàn)會(huì)加劇。

03.?工具和方法

為了理解CPU到CXL設(shè)備的物理內(nèi)存訪問(wèn)行為，我們使用頁(yè)面錯(cuò)誤事件構(gòu)建了一個(gè)物理內(nèi)存跟蹤工具（第3.1節(jié)）。然后，我們通過(guò)與一組虛擬內(nèi)存跟蹤（第3.2節(jié)）進(jìn)行比較，展示了這個(gè)工具的必要性。本工作中生成的工具和數(shù)據(jù)可供公眾使用。 3.1 跟蹤內(nèi)存訪問(wèn) 主內(nèi)存和CXL-flash通過(guò)物理內(nèi)存地址進(jìn)行訪問(wèn)。不幸的是，據(jù)我們所知，沒(méi)有公開(kāi)可用的工具能夠在沒(méi)有硬件修改的情況下跟蹤最后一級(jí)緩存（LLC）和內(nèi)存控制器之間的物理內(nèi)存事務(wù)。跟蹤C(jī)PU中的load/store指令是不夠的，因?yàn)椋?）它只收集虛擬地址訪問(wèn)，（2）最終對(duì)CXL-flash的訪問(wèn)被緩存層次結(jié)構(gòu)過(guò)濾掉。

圖2: 收集物理內(nèi)存跟蹤的工作流程。我們使用Valgrind收集虛擬內(nèi)存跟蹤，并在緩存中模擬其行為。同時(shí)，我們捕獲頁(yè)面故障事件以跟蹤頁(yè)面表的更新，并用此生成物理內(nèi)存跟蹤 我們通過(guò)結(jié)合來(lái)自Valgrind [19,57]的內(nèi)存跟蹤和頁(yè)面錯(cuò)誤事件信息來(lái)跟蹤物理內(nèi)存訪問(wèn)。圖2說(shuō)明了這個(gè)工作流程。如圖頂部路徑所示，我們使用 Valgrind 對(duì)應(yīng)用程序進(jìn)行l(wèi)oad/store指令的工具化，并使用其緩存模擬器 (Cachegrind) 來(lái)過(guò)濾對(duì)內(nèi)存的訪問(wèn)。更具體地說(shuō)，我們修改了Cachegrind以收集由LLC缺失或替換引起的內(nèi)存訪問(wèn)。然而，Cachegrind產(chǎn)生的這些內(nèi)存訪問(wèn)仍然是虛擬地址，因此需要虛擬到物理（V2P）映射信息來(lái)生成物理內(nèi)存跟蹤。為此，如圖2底部路徑所示，我們收集應(yīng)用程序運(yùn)行時(shí)由頁(yè)面錯(cuò)誤引起的頁(yè)表更新。我們修改安裝頁(yè)面表項(xiàng)的內(nèi)核函數(shù)（do_anonymous_page()和do_set_pte()），并將目標(biāo)應(yīng)用程序的PID的V2P轉(zhuǎn)換存儲(chǔ)在/proc文件系統(tǒng)中。這捕獲了應(yīng)用程序執(zhí)行過(guò)程中頁(yè)面表更新的動(dòng)態(tài)特性，并且開(kāi)銷很小。我們將來(lái)自Valgrind的虛擬訪問(wèn)和頁(yè)面表更新結(jié)合起來(lái)生成物理內(nèi)存跟蹤。 3.2 虛擬內(nèi)存與物理內(nèi)存訪問(wèn) 我們使用基于預(yù)取技術(shù)的前期工作[25, 56]中的五個(gè)合成應(yīng)用程序來(lái)展示我們的物理內(nèi)存跟蹤工具。所收集的跟蹤特性總結(jié)如表2所示。我們收集了前2000萬(wàn)次內(nèi)存訪問(wèn)：請(qǐng)注意這些不是load/store指令，而是LLC和內(nèi)存之間的內(nèi)存事務(wù)。

表2: 合成工作負(fù)載特性概述

圖3: 顯示五個(gè)合成應(yīng)用程序（哈希映射、矩陣乘法、最小堆、隨機(jī)訪問(wèn)和步幅訪問(wèn)）的訪問(wèn)模式的散點(diǎn)圖。頂行（圖3a–3e）顯示虛擬地址訪問(wèn)，第二行（圖3f–3j）顯示物理訪問(wèn)。最后一行（圖3k–3o）顯示連續(xù)訪問(wèn)之間差異的累積分布函數(shù)。我們觀察到由于地址轉(zhuǎn)換，物理內(nèi)存訪問(wèn)與虛擬內(nèi)存訪問(wèn)不同 圖3a-3e（圖3的第一行）繪制了這五個(gè)合成跟蹤的虛擬頁(yè)號(hào)（VPN，virtual page number）。我們可以觀察到虛擬地址訪問(wèn)模式與我們對(duì)應(yīng)用程序的期望相匹配。然而，如圖3f-3j（圖3的第二行）所示，相應(yīng)的物理幀號(hào)（PFN）并不類似于VPN。我們?cè)趫D3k-3o（圖3的最后一行）中顯示了連續(xù)訪問(wèn)之間的差異（?，delta）。黑色虛線是虛擬地址的delta，而灰色實(shí)線是五次迭代的物理地址的delta，其中兩次迭代是在運(yùn)行其他應(yīng)用程序時(shí)運(yùn)行的，以增加內(nèi)存利用率。我們做出兩個(gè)觀察。 首先，虛擬訪問(wèn)模式（黑色虛線）平均具有較小的delta值。然而，物理訪問(wèn)模式（灰色實(shí)線）可能具有非常大的delta值，這是由于虛擬到物理地址轉(zhuǎn)換所致。 其次，灰色實(shí)線很少彼此重疊，突顯物理內(nèi)存模式是動(dòng)態(tài)的，并取決于影響內(nèi)存分配的各種運(yùn)行時(shí)因素。因此，物理和虛擬地址之間的觀察到的不匹配可能受到動(dòng)態(tài)因素的影響，如系統(tǒng)的內(nèi)存利用率。 為了證明捕獲物理內(nèi)存跟蹤的必要性，我們通過(guò)使用虛擬地址和物理地址跟蹤作為輸入來(lái)測(cè)量CXL-flash的性能。CXL-flash的配置是具有8個(gè)通道和每個(gè)通道8個(gè)路的閃存后端以及512MiB DRAM緩存，并實(shí)現(xiàn)Next-N-line預(yù)取器[41]（更多詳細(xì)信息見(jiàn)第4節(jié)）。我們測(cè)量了五個(gè)合成應(yīng)用程序的內(nèi)存請(qǐng)求在小于1微秒的延遲下的百分比，并在表3中報(bào)告了結(jié)果。使用虛擬內(nèi)存跟蹤生成了一個(gè)過(guò)于樂(lè)觀的結(jié)果，相較于運(yùn)行物理內(nèi)存跟蹤的結(jié)果，更多的請(qǐng)求在1微秒以下完成。虛擬地址和物理地址之間的誤差顯著較高：所有的矩陣乘法實(shí)驗(yàn)的誤差都超過(guò)了25%。隨機(jī)和步幅訪問(wèn)負(fù)載的誤差率較低，使得無(wú)論是虛擬還是物理尋址，都很難或者太容易預(yù)測(cè)訪問(wèn)模式。

表3: 使用虛擬和物理地址跟蹤的合成應(yīng)用程序在CXL閃存中的亞微秒延遲百分比。我們重復(fù)五次物理跟蹤生成，其中第4和第5次具有更高的系統(tǒng)內(nèi)存利用率（因此，內(nèi)存布局更加碎片化）。我們計(jì)算虛擬跟蹤性能相對(duì)于物理跟蹤的誤差，并用黃色（黃色）標(biāo)記超過(guò)10%的錯(cuò)誤，用紅色（紅色 ）標(biāo)記超過(guò)25%的錯(cuò)誤。 減輕地址轉(zhuǎn)換過(guò)程中信息的變化的一種技術(shù)是利用大頁(yè)面，這可以顯著減少地址轉(zhuǎn)換的數(shù)量[54, 58]以保留內(nèi)存訪問(wèn)模式。然而，這種方法只能部分減少對(duì)系統(tǒng)的影響，并且地址轉(zhuǎn)換是不可避免的。隨著應(yīng)用程序內(nèi)存需求的快速增長(zhǎng)（如圖1所示，年均增長(zhǎng)率為14.1倍），在幾年內(nèi)，大頁(yè)面將面臨與較小頁(yè)面相同的挑戰(zhàn)。因此，我們決定保持配置的通用性，以探索CXL-flash的設(shè)計(jì)選項(xiàng)。

04.?CXL-flash 的設(shè)計(jì)空間

我們探索構(gòu)建CXL-flash的設(shè)計(jì)空間，特別是其中的硬件模塊；我們稍后在第5節(jié)中評(píng)估算法和策略。為了模擬硬件，我們基于MQSim [68]及其擴(kuò)展MQSim-E [49]構(gòu)建了一個(gè)CXL-flash模擬器，并使用五個(gè)合成應(yīng)用程序的物理內(nèi)存跟蹤（表2）來(lái)評(píng)估設(shè)計(jì)選項(xiàng)的效果。我們的CXL-flash的整體架構(gòu)如圖4所示，并在表4中展示了初始配置。 本節(jié)中，我們回答以下研究問(wèn)題。

緩存在提高性能方面的效果如何？（第4.1節(jié)）

如何有效地減少閃存內(nèi)存流量？（第4.2節(jié)）

預(yù)取在隱藏長(zhǎng)閃存內(nèi)存延遲方面的效果如何？（第4.3節(jié)）

CXL-flash的合適閃存技術(shù)和并行性是什么？（第4.4節(jié)）

圖4: CXL閃存的體系結(jié)構(gòu)。

表4: §4中CXL閃存的初始配置。

4.1 緩存對(duì)性能的影響

我們首先探索在閃存前添加DRAM緩存的效果。緩存主要有兩個(gè)作用。

首先，它通過(guò)從更快的DRAM中提供頻繁訪問(wèn)的數(shù)據(jù)來(lái)提高CXL-flash的性能。

其次，它在緩存命中時(shí)減少對(duì)閃存的整體流量。 ?

圖5: 隨著DRAM緩存大小變化的64B讀寫(xiě)請(qǐng)求的平均訪問(wèn)延遲（圖5a）和閃存內(nèi)存流量（圖5b）。通常情況下，緩存可以提高性能并減少對(duì)閃存的流量。然而，即使有足夠大的緩存，平均延遲仍然遠(yuǎn)高于DRAM，這是由于內(nèi)存訪問(wèn)的高強(qiáng)度造成的。 圖5定量展示了使用緩存的好處。我們將緩存大小從0變化到8GiB，并測(cè)量物理內(nèi)存訪問(wèn)的平均延遲（圖5a）和發(fā)送給后端的閃存內(nèi)存請(qǐng)求的間隔時(shí)間（圖5b）。當(dāng)沒(méi)有緩存時(shí)，由于排隊(duì)延遲，平均延遲遠(yuǎn)高于閃存的讀取和編程延遲。即使閃存后端的配置是每個(gè)通道32個(gè)通道和每個(gè)通道32個(gè)路的豐富并行性，但它仍不足以處理具有短間隔時(shí)間的內(nèi)存請(qǐng)求。添加緩存顯著減少了對(duì)閃存后端的流量，并改善了整體性能。然而，我們觀察到圖5a中，矩陣乘法和最小堆的平均延遲仍遠(yuǎn)高于DRAM的延遲，盡管這些工作負(fù)載的內(nèi)存占用小于緩存。這是由于短間隔時(shí)間的請(qǐng)求導(dǎo)致了超負(fù)荷的閃存后端獲取數(shù)據(jù)（圖5b）。這個(gè)實(shí)驗(yàn)表明，僅僅使用緩存是不足以降低CXL-flash的延遲的，我們需要額外的輔助結(jié)構(gòu)來(lái)減少對(duì)閃存的流量。

4.2 減少閃存內(nèi)存流量

內(nèi)存訪問(wèn)以64B的粒度進(jìn)行，而閃存后端以4KiB為單位進(jìn)行尋址。因此，在緩存未命中時(shí)，將從閃存中獲取4KiB的數(shù)據(jù)，并且屬于同一4KiB的后續(xù)64B緩存未命中將在閃存讀取正在進(jìn)行時(shí)產(chǎn)生額外的閃存內(nèi)存讀取請(qǐng)求。這種情況在具有高空間局部性的內(nèi)存訪問(wèn)中非常常見(jiàn)，并且由于更長(zhǎng)的閃存延遲而加劇。我們將其稱為重復(fù)讀取，圖6說(shuō)明了哈希圖，矩陣乘法和堆工作負(fù)載中重復(fù)讀取的嚴(yán)重性：超過(guò)90%的閃存讀取是重復(fù)讀取！

圖6: 物理內(nèi)存幀的閃存讀取次數(shù)。實(shí)心條表示總的讀取次數(shù)，而陰影條表示重復(fù)讀取次數(shù)。重復(fù)讀取是對(duì)尚未完成的讀取請(qǐng)求的讀取請(qǐng)求。

圖7: 使用（實(shí)線）和不使用（虛線）MSHR的延遲分布。 受到CPU緩存的啟發(fā)，我們向CXL-flash中添加了一組MSHR（miss status holding registers）[29, 47]，如圖4所示。MSHR跟蹤當(dāng)前未完成的閃存內(nèi)存請(qǐng)求，并從單個(gè)閃存內(nèi)存讀取服務(wù)多個(gè)64B內(nèi)存訪問(wèn)。我們注意到，在SSD中MSHR很少見(jiàn)：在存儲(chǔ)領(lǐng)域中，軟件棧合并具有重疊地址的塊I/O，因此不需要底層設(shè)備實(shí)現(xiàn)MSHR。然而，對(duì)于CXL-flash，沒(méi)有軟件層來(lái)執(zhí)行此任務(wù)，因?yàn)樗苯訌腖LC接收內(nèi)存事務(wù)。我們觀察到，圖7中的MSHR顯著降低了長(zhǎng)尾延遲，特別是對(duì)于具有大量重復(fù)讀取的三個(gè)工作負(fù)載。我們還觀察到，通過(guò)添加MSHR，對(duì)于其他兩個(gè)工作負(fù)載（隨機(jī)和步幅），也會(huì)有輕微的改進(jìn)。然而，MSHR只能減少閃存內(nèi)存流量，并不能通過(guò)在需要數(shù)據(jù)之前將數(shù)據(jù)帶入緩存來(lái)主動(dòng)提高緩存命中率。

4.3 從閃存預(yù)取數(shù)據(jù)

預(yù)取（Prefetching）是一種隱藏較慢技術(shù)長(zhǎng)延遲的有效技術(shù)。通常，預(yù)取器在需要未命中或預(yù)取命中時(shí)獲取額外的數(shù)據(jù)。為了了解這種技術(shù)的有效性，我們?cè)贑XL-flash中實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的Next-N-line預(yù)取器[41]，如圖4所示。該預(yù)取器有兩個(gè)可配置的參數(shù)：度和偏移量。度控制獲取的額外數(shù)據(jù)量，而偏移量決定了觸發(fā)地址的預(yù)取地址。換句話說(shuō)，度參數(shù)表示預(yù)取器的侵略性，偏移量控制預(yù)取器提前獲取數(shù)據(jù)的距離。

圖8: 具有不同預(yù)取器配置的CXL閃存的性能。

(X, Y)表示Next-N-line預(yù)取器的度和偏移。 圖8顯示了不同度和偏移量對(duì)預(yù)取器的影響。在一個(gè)以4KiB頁(yè)數(shù)為單位的（X，Y）符號(hào)中，X表示度，Y表示偏移量。如圖8a所示，增加度或者預(yù)取器的侵略性通常會(huì)提高性能。即使是小的度數(shù)1，也會(huì)將矩陣乘法工作負(fù)載中的小于一微秒請(qǐng)求的比例從64％提高到76％，凸顯了CXL-flash的預(yù)取的必要性。然而，改進(jìn)效果會(huì)達(dá)到平臺(tái)，進(jìn)一步增加度數(shù)可能只會(huì)污染緩存。另一方面，增加偏移量會(huì)導(dǎo)致兩種不同的行為，這取決于工作負(fù)載。對(duì)于哈希圖，矩陣乘法和最小堆工作負(fù)載，增加偏移量從4增加到16時(shí)性能首先會(huì)有所改善。然而，偏移量為64時(shí)性能下降，因?yàn)樗A(yù)取了太遠(yuǎn)的數(shù)據(jù)。隨機(jī)工作負(fù)載對(duì)偏移量不敏感，除非它足夠大，而步幅工作負(fù)載則隨著偏移量的增加逐漸改善。

4.4 探索閃存技術(shù)和并行性

在之前的子章節(jié)中，我們使用SLC閃存技術(shù)和豐富的閃存并行性（每個(gè)通道32個(gè)通道和每個(gè)通道32個(gè)路，32×32）檢驗(yàn)了CXL-flash的性能。在本節(jié)中，我們研究技術(shù)（ULL，SLC，MLC和TLC）和并行性（8×4，8×8，16×16和32×32）對(duì)整體CXL-flash性能的敏感性。 首先，我們通過(guò)使用步幅工作負(fù)載（如圖9所示）來(lái)研究閃存技術(shù)和緩存大小的影響。我們選擇這個(gè)工作負(fù)載是因?yàn)樗谀J(rèn)配置下表現(xiàn)良好，因此我們期望它代表了具有最小改進(jìn)空間的工作負(fù)載。圖9a說(shuō)明了不同內(nèi)存技術(shù)的平均延遲。我們觀察到，即使ULL和SLC閃存的延遲存在顯著差異（3微秒對(duì)25微秒），在存在緩存的情況下，兩者之間的性能差異是可以忽略的。只有當(dāng)沒(méi)有DRAM緩存時(shí)，ULL閃存的性能明顯更好。我們還觀察到使用MLC和TLC技術(shù)會(huì)顯著降低性能。圖9b顯示了基于閃存寫(xiě)入流量估算的CXL-flash的預(yù)計(jì)壽命。這個(gè)估算考慮了耐用性限制、容量和數(shù)據(jù)寫(xiě)入量；它樂(lè)觀地假設(shè)閃存后端的寫(xiě)放大可以忽略。我們觀察到，通過(guò)使用ULL和SLC技術(shù)以及一些緩存，CXL-flash的壽命可以達(dá)到4年以上。增加緩存大小進(jìn)一步提高壽命，因?yàn)殚W存寫(xiě)入流量減少。對(duì)于基于MLC和TLC的CXL-flash來(lái)說(shuō)，只有使用足夠大的緩存才是可行的：只有1GiB的緩存，其壽命不會(huì)超過(guò)一年。

圖9: 對(duì)CXL閃存性能和壽命的閃存技術(shù)和緩存大小敏感性測(cè)試。

圖10: 不同閃存并行性和緩存大小的亞微秒請(qǐng)求百分比。x軸表示閃存內(nèi)存并行性（通道數(shù)×路數(shù)）。線表示不同緩存大小的值。 接下來(lái)，我們通過(guò)使用隨機(jī)（圖10a）和步幅（圖10b）工作負(fù)載來(lái)研究不同閃存并行性和緩存大小對(duì)整體性能的影響。我們選擇這兩個(gè)工作負(fù)載，因?yàn)樗鼈兙哂凶畲蟮膬?nèi)存占用（分別為8GiB和4GiB）。這里閃存技術(shù)是SLC。我們觀察到，對(duì)于足夠大的緩存，減少并行性為（8×4）并不會(huì)對(duì)性能產(chǎn)生不利影響。然而，對(duì)于較小的緩存，閃存并行性很重要。有趣的是，這兩個(gè)工作負(fù)載表現(xiàn)出略微不同的行為。隨機(jī)工作負(fù)載對(duì)緩存大小非常敏感。另一方面，步幅工作負(fù)載對(duì)緩存大小不敏感，但對(duì)并行性更敏感。這是由于步幅工作負(fù)載中的預(yù)取器的有效性。

4.5 結(jié)論摘要

我們簡(jiǎn)要總結(jié)以下研究結(jié)果：

僅僅使用緩存無(wú)法隱藏較長(zhǎng)的閃存內(nèi)存延遲（§4.1），我們需要輔助結(jié)構(gòu)來(lái)減少閃存內(nèi)存流量（§4.2）。

預(yù)取數(shù)據(jù)可以提高CXL-flash的性能，但最佳配置（甚至算法）取決于工作負(fù)載（§4.3）。

在性能和壽命方面，使用ULL和SLC之間的性能差距僅微不足道，而利用MLC和TLC閃存具有挑戰(zhàn)性（§4.4）。

05.?策略評(píng)估

在上一節(jié)（§4）對(duì)CXL-flash架構(gòu)的設(shè)計(jì)空間進(jìn)行探索的基礎(chǔ)上，本節(jié)中我們?cè)u(píng)估了高級(jí)緩存和預(yù)取策略。我們選擇了五個(gè)來(lái)自各個(gè)領(lǐng)域的內(nèi)存密集型真實(shí)應(yīng)用程序：自然語(yǔ)言處理[18,70]、圖處理[6,27]、高性能計(jì)算[17,62]、SPEC CPU[16,21]和KV存儲(chǔ)[22,31]。我們使用我們的工具（§3）收集物理內(nèi)存訪問(wèn)追蹤，并在表5中總結(jié)了工作負(fù)載特性。

表5: 實(shí)際應(yīng)用程序的工作負(fù)載特性。空間和時(shí)間局部性值的范圍在0到1之間，并使用棧和塊親和性度量[32]計(jì)算：較高的值表示較高的局部性。 然而，真實(shí)應(yīng)用程序的內(nèi)存占用比我們預(yù)期的要小，盡管它們是在64GiB內(nèi)存的計(jì)算機(jī)上收集的。因此，我們故意將緩存配置為較小（64MiB），以便實(shí)驗(yàn)結(jié)果能夠擴(kuò)展到更大的工作負(fù)載。我們還將閃存并行性縮小到更現(xiàn)實(shí)的設(shè)置，并使用ULL閃存。本節(jié)中CXL-flash的默認(rèn)參數(shù)在表6中總結(jié)。

表6: §5中CXL閃存的默認(rèn)參數(shù)。

5.1 緩存替換策略

與先前對(duì)性能的緩存大小檢查（§4.1）不同，這里我們固定緩存大小，評(píng)估不同緩存替換策略在不同的集合關(guān)聯(lián)性下的影響。特別地，我們實(shí)現(xiàn)了以下四種策略。

FIFO：剔除最舊的數(shù)據(jù)。

隨機(jī)：隨機(jī)選擇數(shù)據(jù)剔除。

LRU：剔除最近最少使用的數(shù)據(jù)。

CFLRU [60]：優(yōu)先剔除干凈數(shù)據(jù)而不是已修改的數(shù)據(jù)。 ?

我們選擇隨機(jī)作為基準(zhǔn)線，F(xiàn)IFO和LRU是兩種可以在硬件中實(shí)現(xiàn)的標(biāo)準(zhǔn)CPU緩存策略。為了進(jìn)一步減少流量并延長(zhǎng)設(shè)備的壽命，我們實(shí)現(xiàn)了CFLRU，以探索優(yōu)先選擇剔除干凈緩存行以減少閃存寫(xiě)入活動(dòng)的好處。 圖11衡量了具有小于一微秒延遲的CXL-flash內(nèi)存請(qǐng)求的百分比，圖12顯示了閃存內(nèi)存寫(xiě)入次數(shù)。從這些圖表中我們得出五個(gè)觀察結(jié)果。 首先，增加關(guān)聯(lián)性會(huì)提高性能，因?yàn)樗鼤?huì)增加緩存命中率。對(duì)于緩存系統(tǒng)，其失效開(kāi)銷很高，增加命中率比減少命中時(shí)間對(duì)性能影響更大。 其次，CFLRU的表現(xiàn)優(yōu)于其他替換策略，特別是在BERT，XZ和YCSB中（圖11a，圖11d和圖11e）。這得到了圖12a，圖12d和圖12e中顯示的寫(xiě)流量的顯著減少的支持。 第三，具有高局部性的工作負(fù)載，如Radiosity，對(duì)緩存替換策略不敏感（圖11c和圖12c）：至少有83％的請(qǐng)求具有小于一微秒的延遲，無(wú)論采用何種策略。 第四，以讀為主的工作負(fù)載通常比以寫(xiě)為主的工作負(fù)載表現(xiàn)更好，因?yàn)殚W存內(nèi)存編程延遲相對(duì)于讀取延遲偏大。BERT和Radiosity只產(chǎn)生了0.7M和1.0M閃存寫(xiě)入次數(shù)（圖12a和圖12c），因此其小于一微秒延遲的占比分別達(dá)到了84％和85％（圖11a和圖11c）。 最后，局部性較低的工作負(fù)載不僅性能較差，而且對(duì)緩存策略的敏感性較低。特別是，如圖11b所示，僅有最多65％的請(qǐng)求在頁(yè)面排名工作負(fù)載中實(shí)現(xiàn)小于一微秒的延遲，因?yàn)槠渚植啃暂^低且內(nèi)存占用較大。圖11d中的XZ跟蹤也表現(xiàn)出較低的局部性，但對(duì)于CFLRU的敏感性比頁(yè)面排名工作負(fù)載高，因?yàn)楣ぷ髫?fù)載具有較高的寫(xiě)入比例。

圖11: 基于緩存替換策略和關(guān)聯(lián)性的CXL閃存亞微秒延遲百分比。通常情況下，增加關(guān)聯(lián)性可以減少延遲，而CFLRU表現(xiàn)比其他策略更好。

圖12: 基于緩存替換策略和關(guān)聯(lián)性的閃存寫(xiě)請(qǐng)求數(shù)量。隨著關(guān)聯(lián)性的增加，CFLRU顯著減少寫(xiě)入次數(shù)。 在存儲(chǔ)領(lǐng)域，通過(guò)各種軟件層面的技術(shù)，包括操作系統(tǒng)級(jí)別的頁(yè)緩存，可以減少寫(xiě)入SSD的數(shù)據(jù)量。然而，CXL-flash的緩存管理行為類似于CPU緩存，并且可能存在其接近最優(yōu)狀態(tài)的限制。

5.2 預(yù)取策略

在 §4.3 中，我們測(cè)量了一個(gè)簡(jiǎn)單的Next-N-line預(yù)取器在大型8GiB緩存下的有效性。在本節(jié)中，我們將緩存縮小為64MiB，并將其關(guān)聯(lián)性設(shè)置為16，并使用CFLRU算法進(jìn)行管理，并測(cè)量以下五種預(yù)取器設(shè)置的性能。

NP（無(wú)預(yù)取）不預(yù)取任何數(shù)據(jù)。

NL（Next-N-line）[41]在需要缺失或預(yù)取命中時(shí)帶來(lái)下N個(gè)數(shù)據(jù)。

FD（反饋導(dǎo)向）[65]通過(guò)跟蹤預(yù)取器的準(zhǔn)確性，及時(shí)性和污染來(lái)動(dòng)態(tài)調(diào)整預(yù)取器的攻擊性。

BO（最佳偏移）[55]通過(guò)跟蹤最近請(qǐng)求歷史記錄中的連續(xù)訪問(wèn)之間的差異來(lái)學(xué)習(xí)。它還具有禁用預(yù)取的置信度概念。

LP（Leap）[53]實(shí)施基于多數(shù)的預(yù)取，并具有動(dòng)態(tài)窗口大小調(diào)整。它還根據(jù)預(yù)取器的準(zhǔn)確性逐漸調(diào)整攻擊性。 ?

我們選擇這些算法是因?yàn)樗鼈円驯蛔C明是有效的，可以在硬件中實(shí)現(xiàn)，并且適用于CXL-flash的設(shè)計(jì)空間。特別是，NL，F(xiàn)D和BO是用于CPU緩存的預(yù)取器，其中BO是NL的改進(jìn)版本，而FD利用我們將在后面討論的性能指標(biāo)。LP主要用于從遠(yuǎn)程內(nèi)存預(yù)取數(shù)據(jù)，其中緩存命中和緩存缺失之間的延遲差異與我們的設(shè)計(jì)空間相似。

觀察1：盡管68-91％的請(qǐng)求延遲小于一微秒，但使用預(yù)取器可能會(huì)對(duì)真實(shí)世界的應(yīng)用性能產(chǎn)生不利影響。如圖13a所示，最先進(jìn)的預(yù)取器對(duì)BERT、XZ和YCSB工作負(fù)載的性能產(chǎn)生了負(fù)面影響，而對(duì)另外兩個(gè)工作負(fù)載則有所幫助。特別是，在使用最佳偏移預(yù)取器時(shí)，Radiosity顯示出36％的子微秒延遲增加。為了理解其中原因，我們檢查了緩存命中率、緩存命中-未命中（HUM）率和缺失率（圖13b）。緩存命中-未命中指的是MSHR中的命中，在此之前由于先前的缺失而正在獲取數(shù)據(jù)的情況。我們觀察到在Radiosity上，BO將25％的緩存命中-未命中轉(zhuǎn)換為命中，表明預(yù)取對(duì)局部性因子高的工作負(fù)載（參見(jiàn)表5）具有很高的有效性。我們的觀察結(jié)果表明，預(yù)取器的性能取決于工作負(fù)載的特性，并且它們可能對(duì)應(yīng)用產(chǎn)生不利影響。

圖13: 具有不同預(yù)取器的CXL閃存性能和壽命。圖13a顯示延遲小于一微秒的請(qǐng)求占比。圖13b顯示CXL閃存內(nèi)64MiB緩存的命中、命中下未命中和未命中率。圖13c繪制了估計(jì)的壽命。

觀察2：即使在高強(qiáng)度的工作負(fù)載下，CXL-flash的壽命至少為3.1年。我們根據(jù)寫(xiě)入閃存的數(shù)據(jù)量、耐用限制和1TiB容量估計(jì)了CXL-flash在真實(shí)工作負(fù)載下的壽命，如圖13c所示。我們觀察到，在最壞的情況下，設(shè)備在Page Rank下可持續(xù)使用3.1年，但在Radiosity等工作負(fù)載下可達(dá)403年。壽命取決于三個(gè)因素：工作負(fù)載強(qiáng)度、讀寫(xiě)比例和局部性；Page Rank具有最高的工作負(fù)載強(qiáng)度、高寫(xiě)入比例和低局部性。即使在這種不利條件下，CXL-flash提供了合理的壽命；因此，CXL-flash的耐久性可以滿足內(nèi)存請(qǐng)求的強(qiáng)度。

觀察3：CXL-flash比純DRAM設(shè)備具有更好的性能成本比。盡管CXL-flash在子微秒請(qǐng)求方面稍遜于DRAM，但我們的分析顯示它有潛力為內(nèi)存密集型應(yīng)用程序提供優(yōu)勢(shì)。由于CXL-flash可以在小于一微秒的延遲下為68-91％的內(nèi)存請(qǐng)求提供服務(wù)，而最近DRAM的價(jià)格點(diǎn)比NAND閃存高17-100倍[39,64,77]，我們預(yù)計(jì)CXL-flash比純DRAM設(shè)備具有11-91倍的性能成本效益，如圖14所示。雖然在某些情況下，當(dāng)需要最佳性能時(shí)，仍然可能更喜歡純DRAM設(shè)備，但根據(jù)工作負(fù)載的不同，CXL-flash可能是一種具有成本效益的內(nèi)存擴(kuò)展選項(xiàng)。 有趣的是，我們觀察到，雖然預(yù)取器對(duì)Page Rank有益，但其性能總體上是最差的，只有最多68％的請(qǐng)求在一微秒內(nèi)完成。為了進(jìn)一步了解預(yù)取器的性能，我們測(cè)量了以下四個(gè)指標(biāo)。

準(zhǔn)確性衡量預(yù)取器實(shí)際使用的預(yù)取數(shù)據(jù)比例。較高的準(zhǔn)確性越好。

覆蓋度是內(nèi)存請(qǐng)求中預(yù)取數(shù)據(jù)緩存命中的部分。較高的覆蓋度意味著緩存命中歸功于預(yù)取器，而較低的覆蓋度則表示預(yù)取器沒(méi)有發(fā)揮作用。

延遲是所有預(yù)取數(shù)據(jù)中遲到的比例。較低的延遲越好。

污染是由預(yù)取器引起的緩存缺失中的緩存缺失次數(shù)。較低的污染越好。

圖14: 使用BO預(yù)取器的CXL閃存相對(duì)于僅DRAM設(shè)備的性能-成本收益。估計(jì)是根據(jù)圖13a的性能結(jié)果、DRAM的最新價(jià)格點(diǎn)為5 $/GB [77]，NAND閃存的價(jià)格范圍從0.05到0.30 $/GB [39, 64]得出的。 觀察4：在預(yù)取器改進(jìn)性能的情況下，其成功歸功于實(shí)現(xiàn)高準(zhǔn)確性。我們?cè)趫D15中繪制了評(píng)估的預(yù)取器的四個(gè)指標(biāo)。延遲和污染是負(fù)指標(biāo)（越低越好），因此我們倒置了它們的條形圖，以使所有指標(biāo)都越高越好。我們觀察到，預(yù)取器對(duì)預(yù)取器有所幫助的工作負(fù)載（Page Rank和Radiosity）的定義特征是準(zhǔn)確性高。例如，Leap（LP）預(yù)取器在Radiosity下達(dá)到85％的準(zhǔn)確性，而在BERT下只達(dá)到27％。此外，最佳偏移（BO）預(yù)取器在XZ下實(shí)現(xiàn)了48％的準(zhǔn)確性；但是，它僅有4％的覆蓋度，表明盡管準(zhǔn)確性相對(duì)較高，但預(yù)取器并未主動(dòng)獲取數(shù)據(jù)以改善性能。 我們進(jìn)一步分析了Page Rank，以了解為什么預(yù)取器能夠?qū)崿F(xiàn)相對(duì)較高的準(zhǔn)確性，即使工作負(fù)載具有最低的局部性（使用堆棧和塊親和性指標(biāo)[32]計(jì)算）。如圖16所示，Page Rank在其工作負(fù)載中呈現(xiàn)出明顯的階段。在第一階段，Page Rank加載圖信息并表現(xiàn)出很高的局部性（圖16a）。最佳偏移預(yù)取器也能夠?qū)崿F(xiàn)很高的覆蓋度和準(zhǔn)確性（圖16b）。然而，在第二階段，Page Rank構(gòu)建圖，并且此處的訪問(wèn)模式具有非常低的局部性。因此，最佳偏移預(yù)取器變得更不活躍（覆蓋率低），因?yàn)槠錅?zhǔn)確性下降。在最后階段，Page Rank計(jì)算每個(gè)頂點(diǎn)的分?jǐn)?shù)。雖然其訪問(wèn)局部性不高，但預(yù)取器表現(xiàn)良好，并且大部分訪問(wèn)都在緩存中命中。請(qǐng)注意，雖然污染很?chē)?yán)重，但緩存失效率非常低，因此對(duì)性能的影響可以忽略不計(jì)。該分析表明，雖然預(yù)取器對(duì)第一階段和最后階段有益，但第二階段的低局部性限制了性能。

圖15: 預(yù)取器的準(zhǔn)確率、覆蓋率、延遲和污染度指標(biāo)。

圖16: Page Rank隨時(shí)間的行為。

?觀察5：當(dāng)準(zhǔn)確性低時(shí)，緩存污染是性能下降的主要原因。如圖15所示，BERT和YCSB具有較低的準(zhǔn)確性，而它們的污染率很高，導(dǎo)致預(yù)取器的啟用會(huì)降低性能（圖13a）。對(duì)于XZ，盡管最佳偏移（BO）預(yù)取器的準(zhǔn)確性較低，但它與沒(méi)有預(yù)取器一樣，因?yàn)樗鼛缀鯖](méi)有污染。我們將這歸因于BO根據(jù)其準(zhǔn)確性的能力禁用預(yù)取。對(duì)于Page Rank和Radiosity，預(yù)取器污染率較低，盡管它們的延遲很高。緩存污染降低了CXL-flash的性能，預(yù)取器應(yīng)該注意這種影響，以避免對(duì)設(shè)備產(chǎn)生不利影響。

圖17: BO預(yù)取器虛擬與物理指標(biāo)比較。 觀察6：虛擬到物理地址轉(zhuǎn)換使CXL-flash難以預(yù)取數(shù)據(jù)。為了了解虛擬內(nèi)存地址轉(zhuǎn)換的影響，我們使用最佳偏移預(yù)取器模擬CXL-flash，使用5個(gè)應(yīng)用程序工作負(fù)載的虛擬內(nèi)存跟蹤數(shù)據(jù)，圖17比較了虛擬和物理跟蹤之間的四個(gè)預(yù)取器指標(biāo)。我們得出兩個(gè)觀察結(jié)果。首先，除了Radiosity之外，我們觀察到從虛擬跟蹤到物理跟蹤的準(zhǔn)確性顯著下降。最佳偏移預(yù)取器在Page Rank的虛擬內(nèi)存跟蹤下的準(zhǔn)確性為99％，但在物理跟蹤下，準(zhǔn)確性下降到42％。其次，覆蓋率也降低，表明預(yù)取器在物理內(nèi)存訪問(wèn)下變得不太活躍：例如，在BERT下，覆蓋率從76％降至26％。對(duì)于物理跟蹤，準(zhǔn)確性和覆蓋率的下降顯示CXL-flash在虛擬尋址下的性能將更好。

圖18: 使用內(nèi)存訪問(wèn)模式提示提高BERT性能。圖18a是對(duì)提供提示的地址數(shù)量敏感性測(cè)試。圖18b顯示隨著添加更多提示的性能改進(jìn)。在兩個(gè)圖中，線表示使用提示前的命中下未命中轉(zhuǎn)換為使用提示后的命中次數(shù)。

觀察7：如果內(nèi)核能夠?yàn)樵O(shè)備提供內(nèi)存訪問(wèn)模式提示，則CXL-flash的性能將通過(guò)將命中-未命中轉(zhuǎn)換為緩存命中而得到改善。我們考慮了一個(gè)假設(shè)的具有洞察力的內(nèi)核，它知道物理內(nèi)存訪問(wèn)模式。這不是太牽強(qiáng)，因?yàn)閿?shù)據(jù)密集型應(yīng)用程序通常進(jìn)行多次迭代，它們的行為可以進(jìn)行分析。更具體地說(shuō)，我們假設(shè)內(nèi)核具有有關(guān)頂部密集訪問(wèn)的物理幀的信息，并可以在實(shí)際訪問(wèn)之前向設(shè)備傳遞提示。為了限制內(nèi)核參與的開(kāi)銷，我們模擬了對(duì)訪問(wèn)提示的概率性生成。圖18a顯示了在前N％的密集訪問(wèn)地址的10％處生成提示時(shí)，BERT的性能改進(jìn)情況。我們觀察到，通過(guò)將命中-未命中（HUM）轉(zhuǎn)換為緩存命中，隨著對(duì)更多地址生成訪問(wèn)提示，子微秒延遲的百分比從86％增加到91％。圖18b考慮了變量的提示生成概率，從前10％的密集訪問(wèn)地址的0％到10％。同樣，我們看到整體性能有所改善，但在91％處平穩(wěn)。我們的實(shí)驗(yàn)表明，利用主機(jī)的知識(shí)來(lái)生成訪問(wèn)模式提示，可能會(huì)提高CXL-flash的性能。

06.?相關(guān)工作

評(píng)估的緩存策略和預(yù)取算法在之前的研究中得到了深入探討。然而，大多數(shù)研究都是針對(duì)管理和優(yōu)化CPU緩存的，其中緩存命中和緩存未命中之間的延遲差異要小得多，而在CXL-flash中則要大得多。CFLRU [60] 和 Leap [53] 與我們的設(shè)備共享類似的設(shè)計(jì)空間，但它們所面臨的內(nèi)存訪問(wèn)強(qiáng)度并不像CXL-flash需要處理的那樣極端。因此，必須在CXL-flash的設(shè)計(jì)空間下評(píng)估這些策略和算法的有效性。 先前的研究探索了緩解地址轉(zhuǎn)換和閃存限制導(dǎo)致性能下降的技術(shù)。利用大頁(yè)面可以減少地址轉(zhuǎn)換次數(shù) [54,58]。

FlashMap [40] 和 FlatFlash [23] 將SSD的地址轉(zhuǎn)換與頁(yè)表結(jié)合以減少開(kāi)銷。eNVY [73] 采用寫(xiě)入緩沖、頁(yè)面重映射和清理策略，實(shí)現(xiàn)直接內(nèi)存尋址并保持性能。CXL主機(jī)系統(tǒng)的未來(lái)研究應(yīng)進(jìn)一步探索利用主機(jī)生成提示的潛在好處，并結(jié)合先前的工作來(lái)減少開(kāi)銷。 內(nèi)存解聚將內(nèi)存資源組織在服務(wù)器之間作為網(wǎng)絡(luò)附加的內(nèi)存池，滿足數(shù)據(jù)密集型應(yīng)用的高內(nèi)存需求 [37,38,52,69]。雖然我們的工作不直接研究?jī)?nèi)存解聚系統(tǒng)，但使用CXL-flash作為解聚內(nèi)存有助于克服內(nèi)存墻的問(wèn)題。 先前的研究探索了利用非DRAM擴(kuò)展內(nèi)存的方法 [28,40,63,74]。HAMS [75] 通過(guò)以O(shè)S透明的方式管理主機(jī)和內(nèi)存硬件之間的數(shù)據(jù)路徑，將持久性內(nèi)存和ULL閃存聚合成內(nèi)存擴(kuò)展。

Suzuki等人 [67] 提出了一種基于輕量級(jí)DMA的接口，繞過(guò)NVMe協(xié)議，實(shí)現(xiàn)與DRAM類似性能的閃存讀取訪問(wèn)。SSDAlloc [26] 是一個(gè)內(nèi)存管理器和運(yùn)行時(shí)庫(kù)，允許應(yīng)用程序通過(guò)操作系統(tǒng)分頁(yè)機(jī)制將閃存用作內(nèi)存設(shè)備，但訪問(wèn)SSD中的數(shù)據(jù)可能導(dǎo)致開(kāi)銷。FlatFlash [23] 則通過(guò)整合操作系統(tǒng)分頁(yè)機(jī)制和SSD的內(nèi)部映射表，將DRAM和閃存內(nèi)存暴露為一個(gè)平坦的內(nèi)存空間。雖然這些先前的工作主要關(guān)注操作系統(tǒng)級(jí)管理和主機(jī)設(shè)備交互，但我們的工作在此基礎(chǔ)上，研究了內(nèi)存擴(kuò)展設(shè)備內(nèi)部的設(shè)計(jì)決策。

使用CXL Type 3設(shè)備進(jìn)行內(nèi)存擴(kuò)展是一個(gè)活躍的研究領(lǐng)域 [36, 42, 50, 71]。Pond [50] 利用CXL來(lái)改進(jìn)云環(huán)境中的DRAM內(nèi)存池，并提出了機(jī)器學(xué)習(xí)模型來(lái)管理本地和池化內(nèi)存。雖然該工作研究了如何在云環(huán)境中使用CXL Type 3設(shè)備，但我們的工作研究了如何使用閃存內(nèi)存實(shí)現(xiàn)CXL Type 3設(shè)備。

DirectCXL [36] 成功地在實(shí)際硬件中通過(guò)CXL將主機(jī)處理器與外部DRAM連接，并開(kāi)發(fā)了軟件運(yùn)行時(shí)庫(kù)來(lái)直接訪問(wèn)資源。最后，CXL-SSD [42] 倡導(dǎo)將CXL和SSD結(jié)合起來(lái)擴(kuò)展主機(jī)內(nèi)存。雖然我們與該工作有著相同的目標(biāo)，但它主要討論了CXL互聯(lián)和CXL-SSD的可擴(kuò)展性潛力。 專為機(jī)器學(xué)習(xí)設(shè)計(jì)的系統(tǒng)致力于解決內(nèi)存墻挑戰(zhàn) [45,48,51]。MC-DLA [48] 提出了一種架構(gòu)，聚合內(nèi)存模塊以擴(kuò)展加速器的訓(xùn)練ML模型的內(nèi)存容量。Behemoth [45] 發(fā)現(xiàn)許多NLP模型需要大量?jī)?nèi)存，但不需要大量帶寬，并提出了一個(gè)以閃存為中心的訓(xùn)練框架，管理內(nèi)存和SSD之間的數(shù)據(jù)移動(dòng)，以克服內(nèi)存墻。

07.?結(jié)論

本文探索了CXL-flash設(shè)備的設(shè)計(jì)空間，并評(píng)估了現(xiàn)有的優(yōu)化技術(shù)。通過(guò)使用物理內(nèi)存跟蹤，我們發(fā)現(xiàn)68-91%的內(nèi)存訪問(wèn)可以在CXL-flash設(shè)備上實(shí)現(xiàn)亞微秒的延遲，而且該設(shè)備的壽命至少可以達(dá)到3.1年。我們發(fā)現(xiàn)，對(duì)于虛擬內(nèi)存的地址轉(zhuǎn)換使得CXL-flash的預(yù)取器特別難以發(fā)揮作用，建議通過(guò)傳遞內(nèi)核級(jí)別的訪問(wèn)模式提示來(lái)進(jìn)一步提高性能。 雖然我們?cè)噲D通過(guò)測(cè)試多種工作負(fù)載和設(shè)計(jì)參數(shù)來(lái)概括結(jié)果，但還需要承認(rèn)一些限制。本文所探索的CXL-flash的當(dāng)前設(shè)計(jì)并未考慮閃存的內(nèi)部任務(wù)，如垃圾收集和磨損均衡。此外，所考慮的主機(jī)系統(tǒng)可能并未完全反映CXL引入的新系統(tǒng)特性。因此，我們認(rèn)為在CXL-flash研究領(lǐng)域還需要做更多的工作，而我們的工作可以為未來(lái)的研究提供一個(gè)平臺(tái)。

編輯：黃飛

?