本篇文章為大家展示了Linux 運(yùn)維故障排查思路是什么,內(nèi)容簡(jiǎn)明扼要并且容易理解,絕對(duì)能使你眼前一亮,通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。
成都創(chuàng)新互聯(lián)主要從事網(wǎng)站制作、做網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)霍山,十多年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專(zhuān)業(yè),歡迎來(lái)電咨詢(xún)建站服務(wù):028-86922220
有時(shí)候會(huì)遇到一些疑難雜癥,并且監(jiān)控插件并不能一眼立馬發(fā)現(xiàn)問(wèn)題的根源。這時(shí)候就需要登錄服務(wù)器進(jìn)一步深入分析問(wèn)題的根源。那么分析問(wèn)題需要有一定的技術(shù)經(jīng)驗(yàn)積累,并且有些問(wèn)題涉及到的領(lǐng)域非常廣,才能定位到問(wèn)題。所以,分析問(wèn)題和踩坑是非常鍛煉一個(gè)人的成長(zhǎng)和提升自我能力。如果我們有一套好的分析工具,那將是事半功倍,能夠幫助大家快速定位問(wèn)題,節(jié)省大家很多時(shí)間做更深入的事情。
主要介紹各種問(wèn)題定位的工具以及會(huì)結(jié)合案例分析問(wèn)題。
針對(duì)應(yīng)用程序,我們通常關(guān)注的是內(nèi)核CPU調(diào)度器功能和性能。
線(xiàn)程的狀態(tài)分析主要是分析線(xiàn)程的時(shí)間用在什么地方,而線(xiàn)程狀態(tài)的分類(lèi)一般分為:
on-CPU:執(zhí)行中,執(zhí)行中的時(shí)間通常又分為用戶(hù)態(tài)時(shí)間user和系統(tǒng)態(tài)時(shí)間sys。
off-CPU:等待下一輪上CPU,或者等待I/O、鎖、換頁(yè)等等,其狀態(tài)可以細(xì)分為可執(zhí)行、匿名換頁(yè)、睡眠、鎖、空閑等狀態(tài)。
//查看系統(tǒng)cpu使用情況top //查看所有cpu核信息mpstat -P ALL 1 //查看cpu使用情況以及平均負(fù)載vmstat 1 //進(jìn)程cpu的統(tǒng)計(jì)信息pidstat -u 1 -p pid //跟蹤進(jìn)程內(nèi)部函數(shù)級(jí)cpu使用情況 perf top -p pid -e cpu-clock
說(shuō)明:
free,vmstat,top,pidstat,pmap只能統(tǒng)計(jì)內(nèi)存信息以及進(jìn)程的內(nèi)存使用情況。
valgrind 可以分析內(nèi)存泄漏問(wèn)題。
dtrace 動(dòng)態(tài)跟蹤。需要對(duì)內(nèi)核函數(shù)有很深入的了解,通過(guò)D語(yǔ)言編寫(xiě)腳本完成跟蹤。
//查看系統(tǒng)內(nèi)存使用情況free -m //虛擬內(nèi)存統(tǒng)計(jì)信息vmstat 1 //查看系統(tǒng)內(nèi)存情況top //1s采集周期,獲取內(nèi)存的統(tǒng)計(jì)信息pidstat -p pid -r 1 //查看進(jìn)程的內(nèi)存映像信息pmap -d pid //檢測(cè)程序內(nèi)存問(wèn)題valgrind --tool=memcheck --leak-check=full --log-file=./log.txt ./程序名
在理解磁盤(pán)IO之前,同樣我們需要理解一些概念,例如:
//查看系統(tǒng)io信息iotop //統(tǒng)計(jì)io詳細(xì)信息iostat -d -x -k 1 10 //查看進(jìn)程級(jí)io的信息pidstat -d 1 -p pid //查看系統(tǒng)IO的請(qǐng)求,比如可以在發(fā)現(xiàn)系統(tǒng)IO異常時(shí),可以使用該命令進(jìn)行調(diào)查,就能指定到底是什么原因?qū)е碌腎O異常perf record -e block:block_rq_issue -ag^Cperf report
//顯示網(wǎng)絡(luò)統(tǒng)計(jì)信息netstat -s //顯示當(dāng)前UDP連接狀況netstat -nu //顯示UDP端口號(hào)的使用情況netstat -apu //統(tǒng)計(jì)機(jī)器中網(wǎng)絡(luò)連接各個(gè)狀態(tài)個(gè)數(shù)netstat -a | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' //顯示TCP連接ss -t -a//顯示sockets摘要信息ss -s//顯示所有udp socketsss -u -a//tcp,etcp狀態(tài)sar -n TCP,ETCP 1 //查看網(wǎng)絡(luò)IOsar -n DEV 1//抓包以包為單位進(jìn)行輸出tcpdump -i eth2 host 192.168.1.1 and port 80 //抓包以流為單位顯示數(shù)據(jù)內(nèi)容tcpflow -cp host 192.168.1.1
//查看負(fù)載情況uptimetopvmstat //統(tǒng)計(jì)系統(tǒng)調(diào)用耗時(shí)情況strace -c -p pid //跟蹤指定的系統(tǒng)操作例如epoll_waitstrace -T -e epoll_wait -p pid //查看內(nèi)核日志信息dmesg
常見(jiàn)的火焰圖類(lèi)型有 On-CPU、Off-CPU、Memory、Hot/Cold、Differential等等。
//安裝systemtap,默認(rèn)系統(tǒng)已安裝yum install systemtap systemtap-runtime //內(nèi)核調(diào)試庫(kù)必須跟內(nèi)核版本對(duì)應(yīng),例如:uname -r 2.6.18-308.el5kernel-debuginfo-2.6.18-308.el5.x86_64.rpmkernel-devel-2.6.18-308.el5.x86_64.rpmkernel-debuginfo-common-2.6.18-308.el5.x86_64.rpm //安裝內(nèi)核調(diào)試庫(kù)debuginfo-install --enablerepo=debuginfo search kerneldebuginfo-install --enablerepo=debuginfo search glibc
git clone https://github.com/lidaohang/quick_location.gitcd quick_location
cpu占用過(guò)高,或者使用率提不上來(lái),你能快速定位到代碼的哪塊有問(wèn)題嗎?
一般的做法可能就是通過(guò)日志等方式去確定問(wèn)題。現(xiàn)在我們有了火焰圖,能夠非常清晰的發(fā)現(xiàn)哪個(gè)函數(shù)占用cpu過(guò)高,或者過(guò)低導(dǎo)致的問(wèn)題。
//on-CPU usersh ngx_on_cpu_u.sh pid //進(jìn)入結(jié)果目錄 cd ngx_on_cpu_u //on-CPU kernelsh ngx_on_cpu_k.sh pid //進(jìn)入結(jié)果目錄 cd ngx_on_cpu_k //開(kāi)一個(gè)臨時(shí)端口 8088 python -m SimpleHTTPServer 8088//打開(kāi)瀏覽器輸入地址127.0.0.1:8088/pid.svg
DEMO:
#include <stdio.h> #include <stdlib.h> void foo3() { } void foo2(){ int i; for(i=0 ; i < 10; i++) foo3(); } void foo1() { int i; for(i = 0; i< 1000; i++) foo3(); } int main(void) { int i; for( i =0; i< 1000000000; i++) { foo1(); foo2(); } }
DEMO火焰圖:
cpu過(guò)低,利用率不高。等待下一輪CPU,或者等待I/O、鎖、換頁(yè)等等,其狀態(tài)可以細(xì)分為可執(zhí)行、匿名換頁(yè)、睡眠、鎖、空閑等狀態(tài)。
使用方式:
// off-CPU usersh ngx_off_cpu_u.sh pid //進(jìn)入結(jié)果目錄cd ngx_off_cpu_u //off-CPU kernelsh ngx_off_cpu_k.sh pid //進(jìn)入結(jié)果目錄cd ngx_off_cpu_k //開(kāi)一個(gè)臨時(shí)端口8088python -m SimpleHTTPServer 8088 //打開(kāi)瀏覽器輸入地址127.0.0.1:8088/pid.svg
官網(wǎng)DEMO:
如果線(xiàn)上程序出現(xiàn)了內(nèi)存泄漏,并且只在特定的場(chǎng)景才會(huì)出現(xiàn)。這個(gè)時(shí)候我們?cè)趺崔k呢?有什么好的方式和工具能快速的發(fā)現(xiàn)代碼的問(wèn)題呢?同樣內(nèi)存級(jí)別火焰圖幫你快速分析問(wèn)題的根源。
使用方式:
sh ngx_on_memory.sh pid //進(jìn)入結(jié)果目錄cd ngx_on_memory //開(kāi)一個(gè)臨時(shí)端口8088python -m SimpleHTTPServer 8088 //打開(kāi)瀏覽器輸入地址127.0.0.1:8088/pid.svg
官網(wǎng)DEMO:
你能快速定位CPU性能回退的問(wèn)題么?如果你的工作環(huán)境非常復(fù)雜且變化快速,那么使用現(xiàn)有的工具是來(lái)定位這類(lèi)問(wèn)題是很具有挑戰(zhàn)性的。當(dāng)你花掉數(shù)周時(shí)間把根因找到時(shí),代碼已經(jīng)又變更了好幾輪,新的性能問(wèn)題又冒了出來(lái)。主要可以用到每次構(gòu)建中,每次上線(xiàn)做對(duì)比看,如果損失嚴(yán)重可以立馬解決修復(fù)。
通過(guò)抓取了兩張普通的火焰圖,然后進(jìn)行對(duì)比,并對(duì)差異部分進(jìn)行標(biāo)色:紅色表示上升,藍(lán)色表示下降。差分火焰圖是以當(dāng)前(“修改后”)的profile文件作為基準(zhǔn),形狀和大小都保持不變。因此你通過(guò)色彩的差異就能夠很直觀(guān)的找到差異部分,且可以看出為什么會(huì)有這樣的差異。
使用方式:
cd quick_location //抓取代碼修改前的profile 1文件perf record -F 99 -p pid -g -- sleep 30perf script > out.stacks1 //抓取代碼修改后的profile 2文件perf record -F 99 -p pid -g -- sleep 30perf script > out.stacks2 //生成差分火焰圖:./FlameGraph/stackcollapse-perf.pl ../out.stacks1 > out.folded1./FlameGraph/stackcollapse-perf.pl ../out.stacks2 > out.folded2./FlameGraph/difffolded.pl out.folded1 out.folded2 | ./FlameGraph/flamegraph.pl > diff2.svg
DEMO:
//test.c #include <stdio.h> #include <stdlib.h> void foo3() { } void foo2() { int i; for(i=0 ; i < 10; i++) foo3(); } void foo1() { int i; for(i = 0; i< 1000; i++) foo3(); } int main(void) { int i; for( i =0; i< 1000000000; i++) { foo1(); foo2(); } } //test1.c #include <stdio.h> #include <stdlib.h> void foo3() { } void foo2() { int i; for(i=0 ; i < 10; i++) foo3(); } void foo1() { int i; for(i = 0; i< 1000; i++) foo3(); } void add() { int i; for(i = 0; i< 10000; i++) foo3(); } int main(void) { int i; for( i =0; i< 1000000000; i++) { foo1(); foo2(); add(); } }
DEMO紅藍(lán)差分火焰圖:
a) **分析nginx請(qǐng)求流量:
結(jié)論:
通過(guò)上圖發(fā)現(xiàn)流量并沒(méi)有突增,反而下降了,跟請(qǐng)求流量突增沒(méi)關(guān)系。
b) **分析nginx響應(yīng)時(shí)間
結(jié)論:
通過(guò)上圖發(fā)現(xiàn)nginx的響應(yīng)時(shí)間有增加可能跟nginx自身有關(guān)系或者跟后端upstream響應(yīng)時(shí)間有關(guān)系。
c) **分析nginx upstream響應(yīng)時(shí)間
結(jié)論:
通過(guò)上圖發(fā)現(xiàn)nginx upstream 響應(yīng)時(shí)間有增加,目前猜測(cè)可能后端upstream響應(yīng)時(shí)間拖住nginx,導(dǎo)致nginx出現(xiàn)請(qǐng)求流量異常。
a) **通過(guò)top觀(guān)察系統(tǒng)指標(biāo)
top
結(jié)論:
發(fā)現(xiàn)nginx worker cpu比較高
b) **分析nginx進(jìn)程內(nèi)部cpu情況
perf top -p pid
結(jié)論:
發(fā)現(xiàn)主要開(kāi)銷(xiāo)在free,malloc,json解析上面
10.4 火焰圖分析cpu
a) **生成用戶(hù)態(tài)cpu火焰圖
//on-CPU usersh ngx_on_cpu_u.sh pid
//進(jìn)入結(jié)果目錄cd ngx_on_cpu_u
//開(kāi)一個(gè)臨時(shí)端口8088python -m SimpleHTTPServer 8088
//打開(kāi)瀏覽器輸入地址127.0.0.1:8088/pid.svg
結(jié)論:
發(fā)現(xiàn)代碼里面有頻繁的解析json操作,并且發(fā)現(xiàn)這個(gè)json庫(kù)性能不高,占用cpu挺高。
a) 分析請(qǐng)求流量異常,得出nginx upstream后端機(jī)器響應(yīng)時(shí)間拉長(zhǎng)
b) 分析nginx進(jìn)程cpu高,得出nginx內(nèi)部模塊代碼有耗時(shí)的json解析以及內(nèi)存分配回收操作
根據(jù)以上兩點(diǎn)問(wèn)題分析的結(jié)論,我們進(jìn)一步深入分析。
后端upstream響應(yīng)拉長(zhǎng),最多可能影響n(yōu)ginx的處理能力。但是不可能會(huì)影響n(yōu)ginx內(nèi)部模塊占用過(guò)多的cpu操作。并且當(dāng)時(shí)占用cpu高的模塊,是在請(qǐng)求的時(shí)候才會(huì)走的邏輯。不太可能是upstram后端拖住nginx,從而觸發(fā)這個(gè)cpu的耗時(shí)操作。
遇到這種問(wèn)題,我們優(yōu)先解決已知的,并且非常明確的問(wèn)題。那就是cpu高的問(wèn)題。解決方式先降級(jí)關(guān)閉占用cpu過(guò)高的模塊,然后進(jìn)行觀(guān)察。經(jīng)過(guò)降級(jí)關(guān)閉該模塊cpu降下來(lái)了,并且nginx請(qǐng)求流量也正常了。之所以會(huì)影響upstream時(shí)間拉長(zhǎng),因?yàn)閡pstream后端的服務(wù)調(diào)用的接口可能是個(gè)環(huán)路再次走回到nginx。
上述內(nèi)容就是Linux 運(yùn)維故障排查思路是什么,你們學(xué)到知識(shí)或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
文章題目:Linux運(yùn)維故障排查思路是什么
本文網(wǎng)址:http://muchs.cn/article22/pisdjc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供小程序開(kāi)發(fā)、搜索引擎優(yōu)化、網(wǎng)站內(nèi)鏈、做網(wǎng)站、網(wǎng)站排名、自適應(yīng)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)