Linux大文件重定向和管道的效率是怎樣的-創(chuàng)新互聯(lián)

這篇文章主要講解了“Linux大文件重定向和管道的效率是怎樣的”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Linux大文件重定向和管道的效率是怎樣的”吧！

創(chuàng)新互聯(lián)建站是一家專注于網(wǎng)站制作、成都網(wǎng)站建設(shè)與策劃設(shè)計(jì),志丹網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:志丹等地區(qū)。志丹做網(wǎng)站價(jià)格咨詢:028-86922220
導(dǎo)讀大家先看一下二個(gè) 命令，假如huge_dump.sql文件很大，然后猜測(cè)一下哪種導(dǎo)入方式效率會(huì)更高一些?
# 命令1，管道導(dǎo)入 
shell> cat huge_dump.sql | mysql -uroot;
# 命令2，重定向?qū)?nbsp;
shell> mysql -uroot < huge_dump.sql;

大家先看一下上面二個(gè)命令，假如huge_dump.sql文件很大，然后猜測(cè)一下哪種導(dǎo)入方式效率會(huì)更高一些?

這個(gè)問題挺有意思的，我的第一反應(yīng)是：沒比較過，應(yīng)該是一樣的，一個(gè)是cat負(fù)責(zé)打開文件，一個(gè)是bash

這種場(chǎng)景在MySQL運(yùn)維操作里面應(yīng)該比較多，所以就花了點(diǎn)時(shí)間做了個(gè)比較和原理上的分析：

我們先構(gòu)造場(chǎng)景：

首先準(zhǔn)備一個(gè)程序b.out來模擬mysql對(duì)數(shù)據(jù)的消耗：

int main(int argc, char *argv[]) 
  while(fread(buf, sizeof(buf), 1, stdin) > 0); 
    return 0; 
} 
 
$  gcc  -o b.out b.c 
$ ls|./b.out

再來寫個(gè)systemtap 腳本用來方便觀察程序的行為。

$ cat test.stp 
function should_log(){ 
  return (execname() == "cat" || 
      execname() == "b.out" || 
      execname() == "bash") ; 
} 
probe syscall.open, 
      syscall.close, 
      syscall.read, 
      syscall.write, 
      syscall.pipe, 
      syscall.fork, 
      syscall.execve, 
      syscall.dup, 
      syscall.wait4 
{ 
  if (!should_log()) next; 
  printf("%s -> %s\n", thread_indent(0), probefunc()); 
} 
  
probe kernel.function("pipe_read"), 
      kernel.function("pipe_readv"), 
      kernel.function("pipe_write"), 
      kernel.function("pipe_writev") 
{ 
  if (!should_log()) next; 
  printf("%s -> %s: file ino %d\n",  thread_indent(0), probefunc(), __file_ino($filp)); 
} 
probe begin { println(":~") }

這個(gè) 腳本重點(diǎn)觀察幾個(gè)系統(tǒng)調(diào)用的順序和pipe的讀寫情況，然后再準(zhǔn)備個(gè)419M的大文件huge_dump.sql,在我們幾十G內(nèi)存的機(jī)器很容易在內(nèi)存里放下：

$ sudo dd if=/dev/urandom of=huge_dump.sql bs=4096 count=102400 
102400+0 records in 
102400+0 records out 
419430400 bytes (419 MB) copied, 63.9886 seconds, 6.6 MB/s

因?yàn)檫@個(gè)文件是用bufferio寫的，所以它的內(nèi)容都cache在pagecahce內(nèi)存里面，不會(huì)涉及到磁盤。

好了，場(chǎng)景齊全了，我們接著來比較下二種情況下的速度，第一種管道：

# 第一種管道方式 
$ time (cat huge_dump.sql|./b.out) 
  
real    0m0.596s 
user    0m0.001s 
sys     0m0.919s

從執(zhí)行時(shí)間數(shù)看出來速度有3倍左右的差別了，第二種明顯快很多。

是不是有點(diǎn)奇怪?好吧我們來從原來上面分析下，還是繼續(xù)用數(shù)據(jù)說話：

這次準(zhǔn)備個(gè)很小的數(shù)據(jù)文件，方便觀察然后在一個(gè)窗口運(yùn)行stap

$ echo hello > huge_dump.sql 
$ sudo stap test.stp 
:~ 
     0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_write 
     0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_write 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_pipe 
     0 bash(26570): -> sys_pipe 
     0 bash(26570): -> do_fork 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> do_fork 
     0 bash(13775): -> sys_close 
     0 bash(13775): -> sys_read 
     0 bash(13775): -> pipe_read: file ino 20906911 
     0 bash(13775): -> pipe_readv: file ino 20906911 
     0 bash(13776): -> sys_close 
     0 bash(13776): -> sys_close 
     0 bash(13776): -> sys_close 
     0 bash(13776): -> do_execve 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_close 
     0 bash(13775): -> sys_close 
     0 bash(26570): -> sys_wait4 
     0 bash(13775): -> sys_close 
     0 bash(13775): -> sys_close 
     0 b.out(13776): -> sys_close 
     0 b.out(13776): -> sys_close 
     0 bash(13775): -> do_execve 
     0 b.out(13776): -> sys_open 
     0 b.out(13776): -> sys_close 
     0 b.out(13776): -> sys_open 
     0 b.out(13776): -> sys_read 
     0 b.out(13776): -> sys_close 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_close 
     0 b.out(13776): -> sys_read 
     0 b.out(13776): -> pipe_read: file ino 20906910 
     0 b.out(13776): -> pipe_readv: file ino 20906910 
     0 cat(13775): -> sys_open 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_open 
     0 cat(13775): -> sys_read 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_open 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_open 
     0 cat(13775): -> sys_read 
     0 cat(13775): -> sys_write 
     0 cat(13775): -> pipe_write: file ino 20906910 
     0 cat(13775): -> pipe_writev: file ino 20906910 
     0 cat(13775): -> sys_read 
     0 b.out(13776): -> sys_read 
     0 b.out(13776): -> pipe_read: file ino 20906910 
     0 b.out(13776): -> pipe_readv: file ino 20906910 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_close 
     0 bash(26570): -> sys_wait4 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_wait4 
     0 bash(26570): -> sys_write

stap在收集數(shù)據(jù)了，我們?cè)诹硗庖粋€(gè)窗口運(yùn)行管道的情況：

$ cat huge_dump.sql|./b.out

我們從systemtap的日志可以看出：

  • bash fork了2個(gè)進(jìn)程。

  • 然后execve分別運(yùn)行cat 和 b.out進(jìn)程, 這二個(gè)進(jìn)程用pipe通信。

  • 數(shù)據(jù)從由cat從 huge_dump.sql讀出，寫到pipe,然后b.out從pipe讀出處理。

    • 那么再看下命令2重定向的情況：

    $ ./b.out < huge_dump.sql
  
stap輸出： 
      0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_write 
     0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_write 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_pipe 
     0 bash(26570): -> do_fork 
     0 bash(28926): -> sys_close 
     0 bash(28926): -> sys_read 
     0 bash(28926): -> pipe_read: file ino 20920902 
     0 bash(28926): -> pipe_readv: file ino 20920902 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_wait4 
     0 bash(28926): -> sys_close 
     0 bash(28926): -> sys_open 
     0 bash(28926): -> sys_close 
     0 bash(28926): -> do_execve 
     0 b.out(28926): -> sys_close 
     0 b.out(28926): -> sys_close 
     0 b.out(28926): -> sys_open 
     0 b.out(28926): -> sys_close 
     0 b.out(28926): -> sys_open 
     0 b.out(28926): -> sys_read 
     0 b.out(28926): -> sys_close 
     0 b.out(28926): -> sys_read 
     0 b.out(28926): -> sys_read 
     0 bash(26570): -> sys_wait4 
     0 bash(26570): -> sys_write 
     0 bash(26570): -> sys_read

  • bash fork了一個(gè)進(jìn)程，打開數(shù)據(jù)文件。

  • 然后把文件句柄搞到0句柄上，這個(gè)進(jìn)程execve運(yùn)行b.out。

  • 然后b.out直接讀取數(shù)據(jù)。

    • 現(xiàn)在就非常清楚為什么二種場(chǎng)景速度有3倍的差別：

  • 命令1，管道方式： 讀二次，寫一次,外加一個(gè)進(jìn)程上下文切換。

  • 命令2，重定向方式：只讀一次。

感謝各位的閱讀，以上就是“Linux大文件重定向和管道的效率是怎樣的”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)Linux大文件重定向和管道的效率是怎樣的這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

網(wǎng)站標(biāo)題：Linux大文件重定向和管道的效率是怎樣的-創(chuàng)新互聯(lián)
鏈接分享：http://muchs.cn/article26/dhgsjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、商城網(wǎng)站、全網(wǎng)營銷推廣、外貿(mào)建站、標(biāo)簽優(yōu)化、軟件開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站建設(shè)