如果您的Linux服務(wù)器出現(xiàn)故障，您的第一步通常是在終端中使用top命令來檢查平均負(fù)載。

但是，有時(shí)會(huì)top命令顯示非常高的平均負(fù)載，即使CPU的us和CPU的id的度數(shù)比較低也是如此。

如果CPU單核的負(fù)載超過1，但CPU顯示大約70%空閑。這種情況的常見原因之一是磁盤 I/O瓶頸。

什么是I/O等待瓶頸

存儲(chǔ)I/O是物理磁盤或其他存儲(chǔ)，例如磁盤或SSD。輸入/輸出（或?qū)懭?讀取）的操作。

如果CPU需要在磁盤上等待讀取或?qū)懭霐?shù)據(jù)，則涉及磁盤I/O的請(qǐng)求會(huì)顯著變慢。I/O Wait是CPU必須等待存儲(chǔ)設(shè)備的時(shí)間百分比。

在Linux服務(wù)器可以使用一些終端命令行工具，例如top、atop和iotop來確認(rèn)磁盤I/O是否正在降低應(yīng)用程序性能。

top 命令平均負(fù)載與等待時(shí)間wa

當(dāng)您運(yùn)行top命令，您將首先瀏覽右上角檢查平均負(fù)載。在這種情況下，它非常高。

接下來，我們很可能會(huì)瀏覽頂部附近的CPU和內(nèi)存，然后是%CPU和%MEM列，以了解哪些進(jìn)程使用的資源最多。

在top，您還需要查看wa，它幾乎一直是0.0%。值始終高于1%可能表示您的存儲(chǔ)設(shè)備速度太慢，無法跟上IO的請(qǐng)求。

值得注意的是，top命令頂部%Cpu(s)行的wa是多個(gè)核心wa的平均值，可以按1鍵來展開視圖，查看每個(gè)CPU核心wa值。

完成此操作后，我們看到某些CPU內(nèi)核的%wa時(shí)間高達(dá) 60%。所以我們知道有一個(gè)主要的瓶頸，接下來我們來確認(rèn)一下這個(gè)磁盤瓶頸。

atop 命令監(jiān)控DSK(存儲(chǔ))I/O 統(tǒng)計(jì)信息

接下來，使用atop，我們看到存儲(chǔ)設(shè)備DSK行的busy的值在90%到100%。這是一個(gè)嚴(yán)重的瓶頸。在Web服務(wù)導(dǎo)致結(jié)果就是HTTP請(qǐng)求被阻塞，直到磁盤I/O可以趕上。

在atop，按d鍵盤查看正在使用磁盤I/O的進(jìn)程。這里我們看到MySQL、Nginx、PHP-FPM，這些都是web服務(wù)核心進(jìn)程。

要降低web服務(wù)磁盤IO，可以考慮將Nginx或Apache、MySQL和PHP-FPM的訪問日志和錯(cuò)誤日志不要過于頻繁地寫入磁盤。

并且避免將緩存（例如Nginx 緩存）存儲(chǔ)在磁盤。高并發(fā)流量環(huán)境。除了LEMP服務(wù)之外。

還要注意flush-8:0（一個(gè)PHP緩存問題）和jbd2/sda5-8（跟蹤到訪問/內(nèi)核日志）及其進(jìn)程。

此時(shí)，如果可以，你應(yīng)該在Linux服務(wù)器上執(zhí)行一個(gè)快速SSD基準(zhǔn)測(cè)試，以了解磁盤IO的速度。

運(yùn)行命令dd if=/dev/zero of=diskbench bs=1M count=1024 conv=fdatasync。

dd if=/dev/zero of=diskbench bs=1M count=1024 conv=fdatasync

1073741824 bytes (1.1 GB) copied, 46.0156 s, 23.3 MB/s

盡管可以減少讀/寫，但磁盤I/O非常慢。如果MySQL的my.cnf的max_connections設(shè)置太高。

就會(huì)導(dǎo)致MySQL連接和查詢堆積并增長(zhǎng)到超出可用服務(wù)器RAM的范圍。它就會(huì)發(fā)展到Linux內(nèi)核OOM殺死MySQL的地步。

通常MySQL最大的連接數(shù)等于最大分配內(nèi)存除以每個(gè)線程緩沖區(qū)的大小。

iotop 命令實(shí)時(shí)監(jiān)控磁盤讀/寫

iotop命令監(jiān)控Linux內(nèi)核輸出的I/O使用信息。它顯示系統(tǒng)進(jìn)程或線程的當(dāng)前I/O使用情況，運(yùn)行命令iotop -oPa。

iotop -oPa

iotop命令-o選項(xiàng)僅顯示正在執(zhí)行I/O的進(jìn)程或線程，而不是顯示所有進(jìn)程或線程。這可以通過按o鍵 動(dòng)態(tài)切換。

-P選項(xiàng)僅顯示進(jìn)程。通常iotop命令顯示所有線程。-a選項(xiàng)顯示累積的I/O而不是帶寬。

在這種模式下，iotop命令顯示自iotop命令啟動(dòng)以來完成的I/O進(jìn)程的數(shù)量。

查看DISK WRITE列，這些數(shù)字不是很大。合理平均速度的存儲(chǔ)設(shè)備不會(huì)忙于一些內(nèi)核日志記錄和磁盤緩存。

但是在低于25 MB/s的寫入速度時(shí)，磁盤IO就會(huì)被Nginx緩存、內(nèi)核日志、訪問日志等操作使用最大化。要解決這類問題，是用性能更好的存儲(chǔ)設(shè)備替換現(xiàn)有的設(shè)備。