Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對(duì)象-創(chuàng)新互聯(lián)

這篇文章主要介紹了Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對(duì)象的相關(guān)知識(shí)，內(nèi)容詳細(xì)易懂，操作簡(jiǎn)單快捷，具有一定借鑒價(jià)值，相信大家閱讀完這篇Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對(duì)象文章都會(huì)有所收獲，下面我們一起來(lái)看看吧。

創(chuàng)新互聯(lián)建站-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比雨花臺(tái)網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式雨花臺(tái)網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋雨花臺(tái)地區(qū)。費(fèi)用合理售后完善，十多年實(shí)體公司更值得信賴。

直接上代碼:

from multiprocessing import Process, Lock err_file = 'error1.log'   err_fd = open(err_file, 'w')   def put(fd):      print "PUT"      fd.write("hello, func put writen")      print "END"   if __name__=='__main__':     p_list=[]     for i in range(1):         p_list.append(Process(target=put, args=(err_fd,)))         for p in p_list:         p.start()     for p in p_list:         p.join()

上面的代碼意圖很清晰: 通過(guò)multiprocessing.Process派生一個(gè)進(jìn)程, 去執(zhí)行put函數(shù), put函數(shù)的作用也是很清楚, 輸出PUT和END, 并且將”hello, func put write” 寫到文件error1.log中.

那么按理說(shuō), 輸出應(yīng)該如同上面說(shuō)的那樣, PUT和END,然后error1.log將有那句話”hello, func put write”, 然而, 世事總有那么點(diǎn)難料的, 代碼執(zhí)行結(jié)果是:

[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log PUT END [root@iZ23pynfq19Z ~]#

what！？　為什么error1.log沒東西　!?

讓我們稍微調(diào)整下代碼, 再見證神奇的事情:

from multiprocessing import Process, Lock err_file = 'error1.log'   err_fd = open(err_file, 'w')   def put(fd):      print "PUT"      fd.write("hello, func put writen")      fd.write("o" * 4075) # 神奇的一行      print "END"   if __name__=='__main__':     p_list=[]     for i in range(1):         p_list.append(Process(target=put, args=(err_fd,)))    for p in p_list:         p.start()     for p in p_list:         p.join()

輸出結(jié)果:

[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log PUT END hello, func put write o....(有4075個(gè)) [root@iZ23pynfq19Z ~]#

有沒有覺得一種懵逼的感覺!?

如今, 心中涌現(xiàn)兩個(gè)問(wèn)題:

1. 為什么第一個(gè)程序無(wú)法寫入那句話 , 但是第二個(gè)卻可以?

2. 那個(gè)4075是什么鬼?

在解釋這些問(wèn)題之前, 我們需要清楚標(biāo)準(zhǔn)IO庫(kù)所具有的特點(diǎn): 全緩沖, 行緩沖, 不緩沖

具體可以看之前博文:/tupian/20230522/LinBigR 因?yàn)楝F(xiàn)在是寫入文件, 所以系統(tǒng)IO將采用全緩沖的方式, 也就是說(shuō), 會(huì)將緩沖區(qū)填滿才刷入系統(tǒng)寫隊(duì)列.

所以上面的問(wèn)題就一下子全解決了, 正因?yàn)槟切?迷一般的 ‘o’,填滿了整個(gè)緩沖區(qū), 所以系統(tǒng)將我們的內(nèi)容刷進(jìn)去寫隊(duì)列,所以4075怎么來(lái), 就是用4096-sizeof(“hello, func put writen”)+1, 為什么要+1, 因?yàn)榫彌_區(qū)滿還不行, 要大于才能觸發(fā)寫動(dòng)作.

所以我們現(xiàn)在已經(jīng)能夠得出答案, 如果我們想要在multiprcessing.Process中, 用上面類似的方式去寫文件時(shí),有三種方法去實(shí)現(xiàn):

1. 寫滿緩沖區(qū)

2. 手動(dòng)調(diào)用flush()

3. 將文件對(duì)象設(shè)置成不緩沖

第一第二種在上面已經(jīng)闡述, 那我們簡(jiǎn)單講下第三種:

取自Python官網(wǎng)Document: open(name[, mode[, buffering]])   ...   The optional buffering argument specifies the file’s desired buffer size: 0 means unbuffered,   1 means line buffered, any other positive value means use a buffer of (approximately) that   size (in bytes). A negative buffering means to use the system default, which is usually line   buffered for tty devices and fully buffered for other files. If omitted, the system default is   used. [2]

上圖說(shuō)明就是, 允許我們?cè)趏pen的時(shí)候, 設(shè)置buffering為0, 那么就是unbuffered模式, 那么在每次寫, 就是直接寫入寫隊(duì)列,而不是寫到緩沖區(qū).(性能最低的方式)

————————————————我是切割線———————————————-

談?wù)撏戡F(xiàn)象和處理的方法, 我們應(yīng)該來(lái)點(diǎn)深入的;

相信我們?cè)?jīng)試過(guò), 在沒有顯示關(guān)閉文件對(duì)象或者顯示調(diào)用flush時(shí), 文件依舊能夠正常寫入,那么又是怎么一回事呢?

其實(shí),在我們正常關(guān)閉程序時(shí), 進(jìn)程在退出將會(huì)為我們做一些”手尾”, 例如關(guān)閉打開的文件描述符, 清理臨時(shí)文件,清理內(nèi)存等等.正是因?yàn)橄到y(tǒng)的這種”好習(xí)慣”, 所以我們的數(shù)據(jù)在文件描述符關(guān)閉時(shí),就能刷入寫隊(duì)列,文件內(nèi)容也不會(huì)丟失.

那么基于這種認(rèn)識(shí),我們?cè)倩厥讋偛诺膯?wèn)題, 在子進(jìn)程調(diào)用put的時(shí)候, 理論上在程序退出時(shí), 并沒顯示關(guān)閉文件描述符, 所以數(shù)據(jù)在緩沖區(qū)就丟失了.

讓我們?cè)陧樚倜?看Process的實(shí)現(xiàn)

multiprocessing/Processing.py     def start(self):         '''         Start child process         '''         assert self._popen is None, 'cannot start a process twice'         assert self._parent_pid == os.getpid(),                'can only start a process object created by current process'         assert not _current_process._daemonic,                'daemonic processes are not allowed to have children'         _cleanup()         if self._Popen is not None:             Popen = self._Popen         else:             from .forking import Popen         self._popen = Popen(self)         _current_process._children.add(self)

再看下Popn是怎么做?

multiprocessing/forking.py     class Popen(object):           def __init__(self, process_obj):             sys.stdout.flush()             sys.stderr.flush()             self.returncode = None               self.pid = os.fork()             if self.pid == 0:                 if 'random' in sys.modules:                     import random                     random.seed()                 code = process_obj._bootstrap()                 sys.stdout.flush()                 sys.stderr.flush()                 os._exit(code)

關(guān)鍵地方就是最后的 os._exit(code), 為什么說(shuō)最關(guān)鍵? 因?yàn)檫@部分的退出, 將決定進(jìn)程會(huì)處理什么”手尾”,

os._exit是什么鬼?  其實(shí)就是標(biāo)準(zhǔn)庫(kù)的_eixt, 于是我們又能簡(jiǎn)單學(xué)習(xí)這東西了

/tupian/20230522/LinBigR 在上面的鏈接, 我們能夠比較清楚看到 _exit() 和exit() 是比較不同的兩個(gè)東西, _exit()  簡(jiǎn)單暴力, 直接丟棄用戶態(tài)的內(nèi)容,進(jìn)入內(nèi)核, 而exit()則比較耐心地為我們清理

那么我們是否能夠假設(shè): 如果Popen的退出不是os._exit() 會(huì)是怎樣的效果呢?廈門叉車租賃公司

很幸運(yùn)的是, sys.exit() 就是我們先要的exit(), 事不宜遲, 趕緊試下!

multiprocessing/forking.py     class Popen(object):           def __init__(self, process_obj):             sys.stdout.flush()             sys.stderr.flush()             self.returncode = None               self.pid = os.fork()             if self.pid == 0:                 if 'random' in sys.modules:                     import random                     random.seed()                 code = process_obj._bootstrap()                 sys.stdout.flush()                 sys.stderr.flush()                 #os._exit(code)                 sys.exit(code)

測(cè)試代碼, 返回最原始那個(gè)沒有’o’填充的版本

[root@iZ23pynfq19Z ~]# python 2.py ; cat error1.log PUT END hello, func put write

我們可以看到, 確實(shí)是可以寫進(jìn)去, 這樣就證明上面的說(shuō)法是站得住腳步的

關(guān)于“Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對(duì)象”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對(duì)“Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對(duì)象”知識(shí)都有一定的了解，大家如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

當(dāng)前名稱：Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對(duì)象-創(chuàng)新互聯(lián)
標(biāo)題網(wǎng)址：http://muchs.cn/article2/pedic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、移動(dòng)網(wǎng)站建設(shè)、域名注冊(cè)、定制開發(fā)、服務(wù)器托管、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)