国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Linux中匿名頁的訪問分析

Linux閱碼場 ? 來源:Linux內核遠航者 ? 作者:Linux內核遠航者 ? 2021-10-12 17:52 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Linux有后備文件支持的頁稱為文件頁,如屬于進程的代碼段、數據段的頁,內存回收的時候這些頁面只需要做臟頁的同步即可(干凈的頁面可以直接丟棄掉)。反之為匿名頁,如進程的堆棧使用的頁,內存回收的時候這些頁面不能簡單的丟棄掉,需要交換到交換分區或交換文件。本文中,主要分析匿名頁的訪問將發生哪些可能顛覆我們認知的"化學反應"。

1.實例代碼

首先以一個簡單的示例代碼來說明:

#include
#include
#include
#include
#include

#defineMAP_SIZE(100*1024*1024)

intmain(intargc,char*argv[])
{
char*p;
charval;
inti;

puts("beforemmapok,pleaceexec'free-m'!");
sleep(5);


//mmap

p=mmap(NULL,MAP_SIZE,PROT_READ|PROT_WRITE,MAP_PRIVATE|MAP_ANONYMOUS,-1,0);
if(p==NULL){
perror("failtomalloc");
return-1;
}
puts("aftermmapok,pleaceexec'free-m'!");
sleep(5);


//read
for(i=0;i"readok,pleaceexec'free-m'!");
sleep(5);

#if1
//write
memset(p,0x55,MAP_SIZE);
puts("writeok,pleaceexec'free-m'!");
#endif
//sleep
pause();

return0;
}

代碼非常簡單:首先通過mmap分配100M的私有可讀可寫匿名頁面,然后進行讀寫訪問,分別在提示的時候在另外一個窗口執行free -m命令查看輸出結果。

程序執行結果如下:

$./anon_rw_demo
beforemmapok,pleaceexec'free-m'!
aftermmapok,pleaceexec'free-m'!
readok,pleaceexec'free-m'!
writeok,pleaceexec'free-m'!


命令執行結果如下:

$free-m
總計已用空閑共享緩沖/緩存可用
內存: 15729  8286  1945  895  5497  6220
交換: 16290 1599  14691
$free-m
總計已用空閑共享緩沖/緩存可用
內存: 15729  8286  1945  895  5497  6220
交換: 16290 1599  14691
$free-m
總計已用空閑共享緩沖/緩存可用
內存: 15729  8286  1945  895  5497  6220
交換: 16290 1599  14691
$free-m
總計已用空閑共享緩沖/緩存可用
內存: 15729  8383  1848  895  5497  6123
交換: 16290 1599  14691

可以看到:

第一次提示執行free命令的時候,我們還沒有開始通過mmap分配內存,此時free命令輸出作為參考。

第二次提示執行free命令的時候,我們已經通過mmap分配了100M的內存,此時發現free命令輸出內存消耗基本沒有變化。

第三次提示執行free命令的時候,我們對于分配的匿名頁面進行了讀操作,此時發現free命令輸出內存消耗頁基本沒有變化,這基本上會顛覆我們的認知。

第四次提示執行free命令的時候,我們對于分配的匿名頁面進行了寫操作,此時發現free命令輸出內存消耗大概為100M。

2.內核原理

下面我們從Linux內核的層面來解析發生以上神奇現象的原理。

2.1 mmap的內存消耗

mmap申請匿名頁的時候,只是申請了虛擬內存(通過vm_area_struct結構來描述,如描述虛擬內存區域的地址范圍、訪問權限等,以下簡稱vma),實際的物理內存并沒有申請(除了用于管理虛擬內存區域的vma等結構內存的申請),當前虛擬內存和物理內存并沒有建立頁表映射關系,而真正的申請的匿名頁所對應的物理頁在實際訪問的時候按需分配獲得,所以此時我們看不到內存的消耗情況。

2.2 第一次讀匿名頁的內存消耗

通過mmap申請完虛擬內存之后,進程就可以按照之前申請vma的訪問權限進行訪問,第一發生讀訪問,這個時候由于虛擬內存和物理內存并沒有建立頁表映射關系,通過虛擬地址并不能查找到物理內存,所以會發生處理器的異常,最終分析是因為數據訪問異常導致,就由處理器架構相關的代碼進入了我們通用的缺頁異常處理例程中。

缺頁異常調用鏈如下:

"mm/memory.c"

處理器架構相關異常處理代碼
->handle_mm_fault
->__handle_mm_fault
->handle_pte_fault
->if(!vmf->pte){-------------------1
if(vma_is_anonymous(vmf->vma))-------------------2
returndo_anonymous_page(vmf);-------------------3

缺頁異常進入handle_pte_fault后,在1標簽代碼處,來判斷訪問的虛擬內存頁的頁表項是否為空,為空說明這個這個虛擬頁沒有和物理頁建立映射關系。然后在2標簽代碼處判斷是否為匿名頁缺頁異常(實際上是判斷是否為私有的匿名頁,當前當前示例代碼場景申請的為私有匿名頁面)。在3標簽代碼處,進行真正的私有匿名頁缺頁異常處理。

下面主要看下第一次讀匿名頁的處理:

do_anonymous_page
->pte_alloc(vma->vm_mm,vmf->pmd)-------------------1
->/*Usethezero-pageforreads*/
if(!(vmf->flags&FAULT_FLAG_WRITE)&&-------------------2
!mm_forbids_zeropage(vma->vm_mm)){-------------------3
entry=pte_mkspecial(pfn_pte(my_zero_pfn(vmf->address),
vma->vm_page_prot));-------------------4
vmf->pte=pte_offset_map_lock(vma->vm_mm,vmf->pmd,
vmf->address,&vmf->ptl);-------------------5

...
gotosetpte;
}
->page=alloc_zeroed_user_highpage_movable(vma,vmf->address);-------------------6
->entry=mk_pte(page,vma->vm_page_prot);-------------------7
entry=pte_sw_mkyoung(entry);-------------------8
if(vma->vm_flags&VM_WRITE)
entry=pte_mkwrite(pte_mkdirty(entry));-------------------9

vmf->pte=pte_offset_map_lock(vma->vm_mm,vmf->pmd,vmf->address,
&vmf->ptl);-------------------10

->set_pte_at(vma->vm_mm,vmf->address,vmf->pte,entry);-------------------11

1標簽處:判斷虛擬地址對應的pmd表項是否為空,為空來分配直接頁表設置到pmd表項中。

2標簽處:判斷是否是進行讀訪問。

3標簽處:判斷是否沒有禁止0頁。

4標簽處:就是對于沒有禁止0頁的匿名頁讀訪問設置頁表,這里通過0頁的頁幀號和mmap映射時指定的訪問權限組合頁表項的值。

5標簽處:通過發生缺頁的虛擬地址來計算出頁表項的地址保存在 vmf->pte。

最11標簽處:將4標簽初組合出的頁表項的值寫入到5標簽初計算出的頁表項中。

以上分析可知:對于私有的匿名頁,第一次讀訪問的時候都會發生缺頁異常,然后通過頁表映射0頁,這個0頁沒有什么特殊之處,只不過它是在系統啟動過程中初始化好的一塊內容全為0的頁面,這樣做可以為進程分配了內存只進行讀訪問節省大量物理內存。

2.3 第一次寫匿名頁的內存消耗

大家可以將示例代碼中,讀訪問屏蔽掉只進行寫訪問,觀察內存消耗。

這個時候發生缺頁異常時,不會在走2 3 4 5 便簽處代碼,而在6處分配了一個物理頁面,在7 8 9組合頁表項的值, 10處計算出頁表項的地址,最后把組合的值設置到頁表項中。

需要注意第9處,如果是寫訪問會設置頁表項的可寫標志位。

以上分析可知:對于私有的匿名頁,第一次寫訪問的時候都會發生缺頁異常,會真正分配一個物理頁面,然后將虛擬頁面通過頁面映射到物理頁面,所以我們能觀察到寫之后發生了大量內存消耗。

2.4 第一次讀然后寫匿名頁的內存消耗

這種場景就是示例代碼中所做的實驗,可以看到讀的時候基本上沒有內存消耗,寫的時候發生了大量內存消耗。

關于第一次讀,上面已經做過解釋,下面主要看讀完之后的頁面發生寫訪問的情況。

2.4.1 從mmap說起

實際上,對于一個私有的內存映射,在mmap的時候為頁表映射準備訪問權限的時候并不是給予所有的權限,而是把可寫屬性去掉了。

我們可以從源代碼找到答案:

"mm/mmap.c"

do_mmap
->mmap_region
->vma_set_page_prot(vma)
->vm_page_prot=vm_pgprot_modify(vma->vm_page_prot,vm_flags);---------1
->pgprot_modify(oldprot,vm_get_page_prot(vm_flags))
->WRITE_ONCE(vma->vm_page_prot,vm_page_prot);---------------2


/*descriptionofeffectsofmappingtypeandprotincurrentimplementation.
*thisisduetothelimitedx86pageprotectionhardware.Theexpected
*behaviorisinparens:
*
*map_typeprot
*PROT_NONEPROT_READPROT_WRITEPROT_EXEC
*MAP_SHAREDr:(no)nor:(yes)yesr:(no)yesr:(no)yes
*w:(no)now:(no)now:(yes)yesw:(no)no
*x:(no)nox:(no)yesx:(no)yesx:(yes)yes
*
*MAP_PRIVATEr:(no)nor:(yes)yesr:(no)yesr:(no)yes
*w:(no)now:(no)now:(copy)copyw:(no)no
*x:(no)nox:(no)yesx:(no)yesx:(yes)yes
*/
->vm_get_page_prot
pgprot_tprotection_map[16]__ro_after_init={
__P000,__P001,__P010,__P011,__P100,__P101,__P110,__P111,
__S000,__S001,__S010,__S011,__S100,__S101,__S110,__S111
};


對于__Pxxx, 最后一個x表示vma屬性是否可讀,倒數第二個x表示vma屬性是否可寫,P后面的x表示是否可執行。

1標簽處根據mmap傳遞的訪問權限來構造最終的訪問權限標識。

2標簽處將構造好的訪問權限標識記錄到vma->vm_page_prot中,供缺頁異常設置頁表使用。

注釋中已經做了詳細的解釋,具體頁表屬性如何表示由各自的處理器架構相關代碼來做(eg: 對于x86架構 #define __P111 PAGE_COPY_EXEC),我們只需要知道:無論我們想讓vma具備那些屬性組合,都會屏蔽掉寫屬性,具體可以查看相關的處理器架構實現。

所以,再次回到缺頁異常處理代碼中。在2.2小節的4標簽處,使用mmap設置好的頁表訪問權限設置頁表屬性,當前場景我們知道,mmap中指定為私有的可讀可寫屬性,而頁表中只是設置為了只讀屬性。

2.4.2 寫時復制的觸發

讀訪問將虛擬頁以只讀的方式映射到了0頁,當再次發生寫操作時,就會再次觸數據訪問異常,最終進入缺頁異常處理例程中。

下面給出調用鏈:

"mm/memory.c"

handle_pte_fault
->if(vmf->flags&FAULT_FLAG_WRITE){-----------1
if(!pte_write(entry))-----------2
returndo_wp_page(vmf);-----------3

可以看到最終也是在handle_pte_fault中處理:在1標簽處判斷是否為寫訪問。在2標簽處判斷頁表項的屬性是否是只讀。在3標簽處進行實際的寫時復制處理。

以上分析可知:發生寫訪問操作時,如果vma可寫,但是頁表屬性標識不可寫(只讀),會發生寫時復制缺頁異常,對于當前場景的0頁的寫訪問就是如此,在do_wp_page中會重新分配物理頁面映射到虛擬頁面,然后頁表設置為可寫屬性,就完成了缺頁處理。

3.總結

1)mmap分配私有匿名內存時,會設置vma的vm_page_prot成員,去除掉頁表的寫訪問標識。

2)第一次讀匿名頁時,對于可讀可寫的vma,虛擬頁會以只讀的方式映射到0頁。

3)第一次寫匿名頁時,對于可讀可寫的vma,會申請物理頁面,虛擬頁以可讀可寫的方式映射到此物理頁。

4)第一次讀匿名頁后,然后寫匿名頁,先只讀方式映射到0頁,然后發生寫時復制,分配物理頁,虛擬頁以可讀可寫的方式映射到此物理頁。

可以發現,訪問匿名頁面時發生的“化學反應”并不是那么的簡單,其中會涉及mmap的映射原則,0頁的映射,匿名頁面的處理,寫時復制的處理等等,而且讀寫順序不一樣,產生的結果也會不一樣,大家可以結合內核源代碼進行分析,希望對大家理解匿名頁缺頁異常有所幫助。

責任編輯:haq


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Linux
    +關注

    關注

    88

    文章

    11759

    瀏覽量

    219013
  • 代碼
    +關注

    關注

    30

    文章

    4968

    瀏覽量

    73960

原文標題:3.總結

文章出處:【微信號:LinuxDev,微信公眾號:Linux閱碼場】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    【「Linux 設備驅動開發(第 2 版)」閱讀體驗】充分發揮硬件潛力

    Linux內核內存分配 Linux系統使用了一種稱為“虛擬內存”的機制。虛擬內存機制使得每個內存地址都是虛擬的,這意味著它們不會直接指向RAM的任何地址。這樣我們訪問內存
    發表于 02-04 22:30

    Linux進程樹分析工具pstree詳解與實戰指南(另一視角優化Linux系統)

    Linux 系統開發與運維,理解進程的運行狀態和相互關系是排查問題、優化性能的基礎。pstree 作為一款輕量高效的進程樹可視化工具,能直觀展示系統中所有進程的父子關系,為系統分析提供關鍵線索。本文將從基礎用法到實戰優化,
    的頭像 發表于 02-04 16:21 ?719次閱讀
    <b class='flag-5'>Linux</b>進程樹<b class='flag-5'>分析</b>工具pstree詳解與實戰指南(另一視角優化<b class='flag-5'>Linux</b>系統)

    【「Linux 設備驅動開發(第 2 版)」閱讀體驗】+讀深入理解Linux內核內存分配

    每個內存地址是虛擬的,不是直接指向RAM的任何地址。當用戶訪問內存的存儲單元時,都會進行地址轉換以匹配相應的物理內存。書籍的第10章討論了五個主題,對Linux內核內存分配進行詳細
    發表于 01-16 20:05

    CW32F030 FLASH的擦除操作

    FLASH_ICR.PAGELOCK 為 0 來清FLASH_ISR.PAGELOCK 中斷標志。如果程序在 FLASH 運行,且對 PC(程序指針)所在頁面的存儲空間進行擦除操作,會操作失敗,同時
    發表于 12-15 06:26

    飛凌嵌入式ElfBoard-Linux系統的文件分類

    的主要功能和Windows系統快捷方式類似,它是指向另一個文件或者目錄,符號鏈接本身不包含數據。6.管道(Pipe)和套接字(Socket)Linux提供了管道和套接字機制,用于不同進程之間的通信。管道和套接字也被視為文件,并通過文件描述符進行
    發表于 12-09 08:59

    為什么不建議用匿名結構體

    bit_1:1 ;uint8_t bit_2:1 ; }; uint8_t value; }info2; }info_t; 在這個例子,下面這個就是所謂的匿名結構體,因為這個 struct 沒有
    發表于 12-04 07:39

    探索操作系統底層的關鍵接口

      在linux,將程序的運行空間分為內核空間與用戶空間(內核態和用戶態),在邏輯上它們之間是相互隔離的,因此用戶程序不能訪問內核數據,也無法使用內核函數。當用戶進程必須訪問內核或使
    的頭像 發表于 11-08 12:42 ?745次閱讀

    SSH 遠程連接內網 Linux 服務器

    利用 ZeroNews,您可對用內網的 Linux 服務器進行統一的 SSH 遠程連接管理,當用戶外出時,可通過 ZeroNews 分配的公網域名地址,快速訪問企業內部、家庭的 Linux
    的頭像 發表于 09-17 19:52 ?459次閱讀
    SSH 遠程連接內網 <b class='flag-5'>Linux</b> 服務器

    用淘寶 API 實現天貓店鋪商品詳情智能優化

    ? 在競爭激烈的電商環境,天貓店鋪的商品詳情是影響用戶轉化率的關鍵因素。通過淘寶開放平臺提供的API,我們可以實現智能優化,提升用戶體驗和銷售業績。本文將從零開始,逐步介紹如何利用淘寶API進行
    的頭像 發表于 08-13 14:35 ?808次閱讀
    用淘寶 API 實現天貓店鋪商品詳情<b class='flag-5'>頁</b>智能優化

    手把手教你如何調優Linux網絡參數

    在高并發網絡服務場景,Linux內核的默認網絡參數往往無法滿足需求,導致性能瓶頸、連接超時甚至服務崩潰。本文基于真實案例分析,從參數解讀、問題診斷到優化實踐,手把手教你如何調優Linux
    的頭像 發表于 05-29 09:21 ?964次閱讀

    如何配置Linux防火墻和Web服務器

    在當今數字化時代,網絡安全顯得尤為重要。Linux作為一種開源操作系統,廣泛應用于服務器管理和網絡配置。本篇文章將詳細介紹如何配置Linux防火墻和Web服務器,確保內網與外網的安全訪問
    的頭像 發表于 05-24 15:26 ?1881次閱讀
    如何配置<b class='flag-5'>Linux</b>防火墻和Web服務器

    詳解Linux系統的服務管理

    Linux,無論何時當你安裝任何帶有服務和守護進程的包,系統默認會把這些服務的初始化及 systemd腳本添加進去,不過此時它們并沒有被啟用。
    的頭像 發表于 05-23 15:10 ?833次閱讀
    詳解<b class='flag-5'>Linux</b>系統<b class='flag-5'>中</b>的服務管理

    HarmonyOS5云服務技術分享--匿名登錄功能指南

    匿名登錄? 想象一下新用戶第一次打開你的應用,繁瑣的注冊流程可能會勸退不少人。匿名登錄就像給用戶一張「臨時通行證」,既能保留基礎用戶數據,又能大幅降低使用門檻,有效提升用戶留存率~ ?? 集成指南(5步
    發表于 05-22 16:41

    Linux權限管理基礎入門

    Linux的廣闊天空中,權限管理猶如一只翱翔的雄鷹,掌控著系統的安全與秩序。掌握Linux權限,不僅能讓你的系統管理更加得心應手,還能有效防止未授權訪問和數據泄露。本文將帶你深入探索Linu
    的頭像 發表于 05-06 13:44 ?756次閱讀
    <b class='flag-5'>Linux</b>權限管理基礎入門

    Allegro Skill布局功能之按擺放器件介紹

    在電路設計,原理圖中常以一個功能模塊的器件繪制在同一面上,因此,通常將器件在pcb按擺放在一起,更方便進行模塊化布局。為此,Fany skill添加了將pcb的器件按照原理圖
    的頭像 發表于 04-23 17:10 ?2026次閱讀
    Allegro Skill布局功能之按<b class='flag-5'>頁</b>擺放器件介紹