• • 排查順序
  • 方法論
  • 性能分析工具
  • CPU分析思路
  • 內存分析思路
  • IO分析思路
  • 網絡分析思路
  • 基準測試工具
  • 參考

排查順序

1. top/htop/atop命令查看進程/線程、CPU、內存使用情況，CPU使用情況；
2. dstat 2查看CPU、磁盤IO、網絡IO、換頁、中斷、切換，系統I/O狀態;
3. vmstat 2查看內存使用情況，內存狀態；
4. iostat -d -x 2查看所有磁盤的IO情況，系統I/O狀態；
5. iotop查看IO靠前的進程，系統的I/O狀態；
6. perf top查看占用CPU最多的函數，CPU使用情況；
7. perf record -ag -- sleep 15;perf report查看CPU事件占比，調用棧，CPU使用情況；
8. sar -n DEV 2查看網卡的吞吐，網卡狀態；
9. /usr/share/bcc/tools/filetop -C查看每個文件的讀寫情況，系統的I/O狀態；
10. /usr/share/bcc/tools/opensnoop顯示正在被打開的文件，系統的I/O狀態；
11. mpstat -P ALL 1 單核CPU是否被打爆；
12. ps aux --sort=-%cpu按CPU使用率排序，找出CPU消耗最多進程；
13. ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20統計前20內存占用；
14. awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20統計內核前20slab的占用；

1. pidstat 2 -p 進程號查看可疑進程CPU使用率變化情況；
2. pidstat -w -p 進程號 2查看可疑進程的上下文切換情況；
3. pidstat -d -p 進程號 2查看可疑進程的IO情況；
4. lsof -p 進程號查看進程打開的文件；
5. strace -f -T -tt -p 進程號顯示進程發起的系統調用；

1. ethtool -S查看網卡硬件情況；
2. cat/proc/net/softnet_stat/ifconfig eth1 查看網卡驅動情況；
3. netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n查看連接狀態分布；
4. ss -ntp或者netstat -ntp查看連接隊列；
5. netstat -s 查看協議棧情況；

方法論

性能分析工具

CPU分析思路

內存分析思路

IO分析思路

網絡分析思路

基準測試工具

• 在文件系統和磁盤 I/O 模塊中，我們使用 fio 工具，測試了磁盤 I/O 的性能。
• 在網絡模塊中，我們使用 iperf、pktgen 等，測試了網絡的性能。
• 而在很多基于 Nginx 的案例中，我們則使用 ab、wrk 等，測試 Nginx 應用的性能。

參考

• 相當一部分內容來自極客時間出品的倪鵬飛專欄《Linux性能優化》, 這是之前這個專欄的學習筆記。
• 另一份資料是IBM紅寶書Linux性能調優指南。
• 此外，The Linux Documentation Project是一個非常好的資料庫。
• 將硬件中斷的處理任務分配個多個CPU：SMP affinity and proper interrupt handling in Linux
• Hidden Costs of Memory Allocation
• https://www.lijiaocn.com/soft/linux/

END

ARM嵌入式開發 · 嵌入式產品與方案

開發板/核心板/主板/整機

OEM/ODM