linux命令行解析程序 linux常見的命令解析器調(diào)用包括

Linux常見日志統(tǒng)計(jì)分析命令

在上文中，我們已經(jīng)詳細(xì)介紹 linux 三劍客的基本使用，接下來我們看看具體在性能測(cè)試領(lǐng)域的運(yùn)用，本文主要介紹的是在 Tomcat 和 Nginx access日志的統(tǒng)計(jì)分析。

通化縣網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營維護(hù)。創(chuàng)新互聯(lián)于2013年成立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

server.xml 使用配置方式，%D-請(qǐng)求時(shí)間，%F-響應(yīng)時(shí)間

字段說明如下：

日志樣例：

使用默認(rèn) combined 的經(jīng)典格式上擴(kuò)展 response_timeupstream_response_time

nginx.conf 使用配置方式：

字段說明如下：

日志示例：

為了能理解 AWK 程序，我們下面概述其基本知識(shí)。

模式( pattern ) 用于匹配輸入中的每行文本。對(duì)于匹配上的每行文本，awk 都執(zhí)行對(duì)應(yīng)的 動(dòng)作( action )。模式和動(dòng)作之間使用花括號(hào)隔開。awk 順序掃描每一行文本，并使用 記錄分隔符（一般是換行符）將讀到的每一行作為 記錄，使用 域分隔符( 一般是空格符或制表符 ) 將一行文本分割為多個(gè) 域， 每個(gè)域分別可以使用 2, … 表示。1 表示第一個(gè)域，表示第二個(gè)域，n 表示第 n 個(gè)域。 $0 表示整個(gè)記錄。模式或動(dòng)作都可以不指定，缺省模式的情況下，將匹配所有行。缺省動(dòng)作的情況下，將執(zhí)行動(dòng)作 {print}，即打印整個(gè)記錄。

此處使用Nginx access.log 舉例，Tomcat 日志自己舉一反三。 使用 awk 分解出Nginx access日志中的信息

以此類推…… 當(dāng)我們使用默認(rèn)的域分割符時(shí)，我們可以從日志中解析出下面不同類型的信息：

我們不難發(fā)現(xiàn)，僅使用默認(rèn)的域分隔符，不方便解析出請(qǐng)求行、引用頁和瀏覽器類型等其他信息，因?yàn)檫@些信息之中包含不確定個(gè)數(shù)的空格。 因此，我們需要把域分隔符修改為 “ ，就能夠輕松讀出這些信息。

注意：這里為了避免 Linux Shell 誤解 “ 為字符串開始，我們使用了反斜杠，轉(zhuǎn)義了 “ 。 現(xiàn)在，我們已經(jīng)掌握了 awk 的基本知識(shí)，以及它是怎樣解析日志的。

此處使用Nginx access.log 舉例，Tomcat 日志自己舉一反三。

如果我們想知道那些類型的瀏覽器訪問過網(wǎng)站，并按出現(xiàn)的次數(shù)倒序排列，我可以使用下面的命令：

此命令行首先解析出瀏覽器域，然后使用管道將輸出作為第一個(gè) sort 命令的輸入。第一個(gè) sort 命令主要是為了方便 uniq 命令統(tǒng)計(jì)出不同瀏覽器出現(xiàn)的次數(shù)。最后一個(gè) sort 命令將把之前的統(tǒng)計(jì)結(jié)果倒序排列并輸出。

我們可以使用下面的命令行，統(tǒng)計(jì)服務(wù)器返回的狀態(tài)碼，發(fā)現(xiàn)系統(tǒng)可能存在的問題。

正常情況下，狀態(tài)碼 200 或 30x 應(yīng)該是出現(xiàn)次數(shù)最多的。40x 一般表示客戶端訪問問題。50x 一般表示服務(wù)器端問題。 下面是一些常見的狀態(tài)碼：

HTTP 協(xié)議狀態(tài)碼定義可以參閱：

查找并顯示所有狀態(tài)碼為 404 的請(qǐng)求

統(tǒng)計(jì)所有狀態(tài)碼為 404 的請(qǐng)求

現(xiàn)在我們假設(shè)某個(gè)請(qǐng)求 ( 例如 : URI: /path/to/notfound ) 產(chǎn)生了大量的 404 錯(cuò)誤，我們可以通過下面的命令找到這個(gè)請(qǐng)求是來自于哪一個(gè)引用頁，和來自于什么瀏覽器。

有時(shí)候會(huì)發(fā)現(xiàn)其他網(wǎng)站出于某種原因，在他們的網(wǎng)站上使用保存在自己網(wǎng)站上的圖片。如果您想知道究竟是誰未經(jīng)授權(quán)使用自己網(wǎng)站上的圖片，我們可以使用下面的命令：

注意：使用前，將 修改為自己網(wǎng)站的域名。

統(tǒng)計(jì)共有多少個(gè)不同的 IP 訪問：

統(tǒng)計(jì)每一個(gè) IP 訪問了多少個(gè)頁面：

將每個(gè) IP 訪問的頁面數(shù)進(jìn)行從小到大排序：

統(tǒng)計(jì) 2018 年 8 月 31 日 14 時(shí)內(nèi)有多少 IP 訪問 :

統(tǒng)計(jì)訪問最多的前十個(gè) IP 地址

查看某一個(gè) IP訪問了哪些頁面：

統(tǒng)計(jì)某個(gè) IP 的詳細(xì)訪問情況,按訪問頻率排序

列出傳輸大小最大的幾個(gè)文件

列出輸出大于 204800 byte ( 200kb) 的頁面以及對(duì)應(yīng)頁面發(fā)生次數(shù)

列出訪問最頻的頁面(TOP100)

列出訪問最頻的頁面([排除php頁面】(TOP100)

列出頁面訪問次數(shù)超過100次的頁面

列出最近1000條記錄，訪問量最高的頁面

統(tǒng)計(jì)每分鐘的請(qǐng)求數(shù),top100的時(shí)間點(diǎn)(精確到分鐘)

統(tǒng)計(jì)每小時(shí)的請(qǐng)求數(shù),top100的時(shí)間點(diǎn)(精確到小時(shí))

統(tǒng)計(jì)每秒的請(qǐng)求數(shù),top100的時(shí)間點(diǎn)(精確到秒)

統(tǒng)計(jì)當(dāng)天的 pv

說明：

可以使用下面的命令統(tǒng)計(jì)出所有響應(yīng)時(shí)間超過 3 秒的日志記錄。

注意：NF 是當(dāng)前記錄中域的個(gè)數(shù)。$NF 即最后一個(gè)域。

列出php頁面請(qǐng)求時(shí)間超過3秒的頁面，并統(tǒng)計(jì)其出現(xiàn)的次數(shù)，顯示前100條

列出相應(yīng)時(shí)間超過 5 秒的請(qǐng)求，顯示前20條

統(tǒng)計(jì)蜘蛛抓取次數(shù)

統(tǒng)計(jì)蜘蛛抓取404的次數(shù)

通過本文的介紹，我相信同學(xué)們一定會(huì)發(fā)現(xiàn) linux三劍客強(qiáng)大之處。在命令行中，它還能夠接受，和執(zhí)行外部的 AWK 程序文件，可以對(duì)文本信息進(jìn)行非常復(fù)雜的處理，可以說“只有想不到的，沒有它做不到的”。

解析命令行參數(shù)的函數(shù)

1.全局變量解釋：

optarg: 如果選項(xiàng)帶參數(shù)，參數(shù)保存在optarg中。如果選項(xiàng)帶可選參數(shù)，而實(shí)際無參數(shù)時(shí)，optarg為NULL。

optind:argv數(shù)組中下一次需要處理的元素的下標(biāo)，系統(tǒng)默認(rèn)初始化此值為1. 0是沒有意義的，argv[0]為程序名，在解析命令行參數(shù)中是沒有意義的。getopt正常解析完畢后，optind設(shè)置為argv數(shù)組中第一個(gè)不是選項(xiàng)的元素的下標(biāo)（一般為0）。

opterr:存儲(chǔ)錯(cuò)誤選項(xiàng)字符.

2. GNU/Linux的命令行選項(xiàng)有兩種類型： 短選項(xiàng)和長(zhǎng)選項(xiàng) ，前者以 '-' 作為前導(dǎo)符，后者以 '--' 作為前導(dǎo)符。 -n 表示是一個(gè)不帶參數(shù)的短選項(xiàng)。 --n 表示是一個(gè)不帶參數(shù)的長(zhǎng)選項(xiàng)?，F(xiàn)在有一個(gè)帶有參數(shù)的短選項(xiàng)比如說 -w foo ,那么它和長(zhǎng)選項(xiàng) --foo 是等價(jià)的。

函數(shù)聲明：

函數(shù)參數(shù)：

1.argc:主函數(shù)傳遞過來的實(shí)參

2.argv:主函數(shù)傳遞過來的實(shí)參

3.optstring:一個(gè)包含選項(xiàng)字符的字符串。 一組短選項(xiàng)組成的字符串

函數(shù)調(diào)用結(jié)果

1.該函數(shù)每解析完一個(gè)選項(xiàng)，就返回該選項(xiàng)字符。選項(xiàng)字符解析完畢后，調(diào)用getopt函數(shù)將會(huì)返回-1，然后optind設(shè)置為argv數(shù)組中第一個(gè)不是選項(xiàng)的元素的下標(biāo)。

2. 當(dāng)調(diào)用getopt函數(shù)檢測(cè)到錯(cuò)誤時(shí)(比如說檢測(cè)到的選項(xiàng)字符不在optstring實(shí)參中)，默認(rèn)情況下函數(shù)返回'?'。 為什么說是默認(rèn)呢？因?yàn)槿绻ㄟ^optstring實(shí)參指明選項(xiàng)帶參數(shù)，而實(shí)際命令行沒有參數(shù)時(shí)，getopt返回 ':' 而不是 '?'

關(guān)于optstring，還有幾點(diǎn)說明：

1.如果選項(xiàng)帶參數(shù)，該選項(xiàng)后接冒號(hào)，比如optstring這個(gè)實(shí)參值為"a:b"，指示a帶參數(shù)，b沒有參數(shù)；

2.如果選項(xiàng)帶可選參數(shù)，該選項(xiàng)后接兩個(gè)冒號(hào)，比如"a::b"，表明a可能有參數(shù)，也可能沒有；

3.如果optstring的開頭字符為':'，表明如果指明選項(xiàng)帶參數(shù)，而實(shí)際命令行沒有參數(shù)時(shí)，getopt返回':'而不是'?'(默認(rèn)情況下返回 '?' ，和無法識(shí)別的參數(shù)返回一樣)；

4.如果optstring的開頭字符為'+'，表明一但遇到一個(gè)非選項(xiàng)參數(shù)，馬上停止掃描，隨后的部分當(dāng)作參數(shù)來解釋；

5.如果optstring的開頭字符為'-'，表明如果遇到無選項(xiàng)參數(shù)，則把它當(dāng)作選項(xiàng)1（不是字符'1'）的參數(shù)

示例：(來源于man文檔)

運(yùn)行示例：

函數(shù)聲明：

函數(shù)參數(shù)：

longops:指向一個(gè)option結(jié)構(gòu)體數(shù)組的第一個(gè)元素。

longindex:getopt_long的最后一個(gè)參數(shù)longindex在函數(shù)返回時(shí)指向被搜索到的選項(xiàng)在longopts數(shù)組中的下標(biāo)。

關(guān)于option struct如下：

注意在初始化option struct時(shí)： The last element of the array has to be filled with zeros.

函數(shù)返回值：

1.如果flag這個(gè)實(shí)參為null,那么這個(gè)函數(shù)返回val的值。 這樣短選項(xiàng)字符解析和長(zhǎng)選項(xiàng)解析搭建了橋梁。

2.如果flag這個(gè)實(shí)參不為null,那么這個(gè)函數(shù)返回0

3.選項(xiàng)字符解析完畢后，調(diào)用getopt_long函數(shù)將會(huì)返回-1

4.當(dāng)調(diào)用getopt_long函數(shù)檢測(cè)到錯(cuò)誤時(shí)(比如說檢測(cè)到的選項(xiàng)字符不在longops實(shí)參中)，默認(rèn)情況下函數(shù)返回'?'

示例：(來源于man 文檔)

運(yùn)行示例如下：

getopt_long_only類似于getopt_long，但是它把 '-' 開頭的選項(xiàng)當(dāng)作長(zhǎng)選項(xiàng)來處理。如果該選項(xiàng)與長(zhǎng)選項(xiàng)不匹配，而與短選項(xiàng)匹配，則可以作為短選項(xiàng)解析。

Linux基礎(chǔ)命令之命令行下的查看命令幫助

【語法格式】

man 參數(shù)選擇 命令/文件

【命令操作】

【語法格式】

命令 --help

【命令操作】

如果想顯示中文的幫助解釋，需要調(diào)整中文字符集的結(jié)果，其實(shí)就是調(diào)整系統(tǒng)字符集為“zh_CN.UTF-8”(不建議使用中文)

在Linux系統(tǒng)里有一些特殊的命令，它們就是bash程序的內(nèi)置命令，例如cd、history、read等，這些命令在系統(tǒng)目錄里不存在真實(shí)的程序文件（存在于bash程序里），對(duì)于這部分命令，查看幫助的方法就是使用help命令。

【命令操作】

Linux系統(tǒng)中的info命令是一個(gè)查看程序?qū)?yīng)文檔信息的命令，可以作為man及help命令的幫助補(bǔ)充

【命令操作】

搜索引擎使用順序google - bing - baidu（不要問為什么！）

像火柴盒、utools等工具也有各類系統(tǒng)的命令幫助插件

標(biāo)題名稱：linux命令行解析程序 linux常見的命令解析器調(diào)用包括
當(dāng)前URL：http://muchs.cn/article20/docoojo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、App設(shè)計(jì)、面包屑導(dǎo)航、、電子商務(wù)、用戶體驗(yàn)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)