python起進(jìn)程的函數(shù) python 獲取進(jìn)程

python中的進(jìn)程-實(shí)戰(zhàn)部分

如果想了解進(jìn)程 可以先看一下這一篇 python中的進(jìn)程-理論部分

成都創(chuàng)新互聯(lián)一直通過(guò)網(wǎng)站建設(shè)和網(wǎng)站營(yíng)銷幫助企業(yè)獲得更多客戶資源。 以"深度挖掘,量身打造,注重實(shí)效"的一站式服務(wù),以成都網(wǎng)站制作、成都做網(wǎng)站、移動(dòng)互聯(lián)產(chǎn)品、成都營(yíng)銷網(wǎng)站建設(shè)服務(wù)為核心業(yè)務(wù)。10余年網(wǎng)站制作的經(jīng)驗(yàn),使用新網(wǎng)站建設(shè)技術(shù),全新開發(fā)出的標(biāo)準(zhǔn)網(wǎng)站,不但價(jià)格便宜而且實(shí)用、靈活,特別適合中小公司網(wǎng)站制作。網(wǎng)站管理系統(tǒng)簡(jiǎn)單易用,維護(hù)方便,您可以完全操作網(wǎng)站資料,是中小公司快速網(wǎng)站建設(shè)的選擇。

python中的多線程無(wú)法利用多核優(yōu)勢(shì),如果想要充分地使用多核CPU的資源(os.cpu_count()查看),在python中大部分情況需要使用多進(jìn)程。Python提供了multiprocessing。

multiprocessing模塊用來(lái)開啟子進(jìn)程,并在子進(jìn)程中執(zhí)行我們定制的任務(wù)(比如函數(shù)),該模塊與多線程模塊threading的編程接口類似。

  multiprocessing模塊的功能眾多:支持子進(jìn)程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步,提供了Process、Queue、Pipe、Lock等組件。

需要再次強(qiáng)調(diào)的一點(diǎn)是:與線程不同,進(jìn)程沒有任何共享狀態(tài),進(jìn)程修改的數(shù)據(jù),改動(dòng)僅限于該進(jìn)程內(nèi)。

創(chuàng)建進(jìn)程的類 :

參數(shù)介紹:

group參數(shù)未使用,值始終為None

target表示調(diào)用對(duì)象,即子進(jìn)程要執(zhí)行的任務(wù)

args表示調(diào)用對(duì)象的位置參數(shù)元組,args=(1,2,'tiga',)

kwargs表示調(diào)用對(duì)象的字典,kwargs={'name':'tiga','age':18}

name為子進(jìn)程的名稱

方法介紹:

p.start():?jiǎn)?dòng)進(jìn)程,并調(diào)用該子進(jìn)程中的p.run()

p.run():進(jìn)程啟動(dòng)時(shí)運(yùn)行的方法,正是它去調(diào)用target指定的函數(shù),我們自定義類的類中一定要實(shí)現(xiàn)該方法

p.terminate():強(qiáng)制終止進(jìn)程p,不會(huì)進(jìn)行任何清理操作,如果p創(chuàng)建了子進(jìn)程,該子進(jìn)程就成了僵尸進(jìn)程,使用該方法需要特別小心這種情況。如果p還保存了一個(gè)鎖那么也將不會(huì)被釋放,進(jìn)而導(dǎo)致死鎖

p.is_alive():如果p仍然運(yùn)行,返回True

p.join([timeout]):主線程等待p終止(強(qiáng)調(diào):是主線程處于等的狀態(tài),而p是處于運(yùn)行的狀態(tài))。timeout是可選的超時(shí)時(shí)間,需要強(qiáng)調(diào)的是,p.join只能join住start開啟的進(jìn)程,而不能join住run開啟的進(jìn)程

屬性介紹:

注意:在windows中Process()必須放到# if __name__ == '__main__':下

創(chuàng)建并開啟子進(jìn)程的兩種方式

方法一:

方法二:

有了join,程序不就是串行了嗎???

terminate與is_alive

name與pid

python進(jìn)程和線程中的join方法

python中創(chuàng)建進(jìn)程的方式

一、Process(target=函數(shù)名,args=(),name,kwargs)

target:加進(jìn)程調(diào)用的函數(shù)名,一般不加括號(hào)

name:進(jìn)程的名字

kwargs:字典參數(shù)

args:元組參數(shù),如果參數(shù)就一個(gè),記得加逗號(hào)’,’

Python多線程與多進(jìn)程中join()方法的效果是相同的

join所完成的工作就是線程同步,即主線程任務(wù)結(jié)束之后,進(jìn)入阻塞狀態(tài),一直等待其他的子線程執(zhí)行結(jié)束之后,主線程再終止

import threading

import time

python 多進(jìn)程

基于官方文檔:

日樂購(gòu),剛才看到的一個(gè)博客,寫的都不太對(duì),還是基于官方的比較穩(wěn)妥

我就是喜歡抄官方的,哈哈

通常我們使用Process實(shí)例化一個(gè)進(jìn)程,并調(diào)用 他的 start() 方法啟動(dòng)它。

這種方法和 Thread 是一樣的。

上圖中,我寫了 p.join() 所以主進(jìn)程是 等待 子進(jìn)程執(zhí)行完后,才執(zhí)行 print("運(yùn)行結(jié)束")

否則就是反過(guò)來(lái)了(這個(gè)不一定,看你的語(yǔ)句了,順序其實(shí)是隨機(jī)的)例如:

主進(jìn)加個(gè) sleep

所以不加join() ,其實(shí)子進(jìn)程和主進(jìn)程是各干各的,誰(shuí)也不等誰(shuí)。都執(zhí)行完后,文件運(yùn)行就結(jié)束了

上面我們用了 os.getpid() 和 os.getppid() 獲取 當(dāng)前進(jìn)程,和父進(jìn)程的id

下面就講一下,這兩個(gè)函數(shù)的用法:

os.getpid()

返回當(dāng)前進(jìn)程的id

os.getppid()

返回父進(jìn)程的id。 父進(jìn)程退出后,unix 返回初始化進(jìn)程(1)中的一個(gè)

windows返回相同的id (可能被其他進(jìn)程使用了)

這也就解釋了,為啥我上面 的程序運(yùn)行多次, 第一次打印的parentid 都是 14212 了。

而子進(jìn)程的父級(jí) process id 是調(diào)用他的那個(gè)進(jìn)程的 id : 1940

視頻筆記:

多進(jìn)程:使用大致方法:

參考: 進(jìn)程通信(pipe和queue)

pool.map (函數(shù)可以有return 也可以共享內(nèi)存或queue) 結(jié)果直接是個(gè)列表

poll.apply_async() (同map,只不過(guò)是一個(gè)進(jìn)程,返回結(jié)果用 xx.get() 獲得)

報(bào)錯(cuò):

參考 :

把 pool = Pool() 放到 if name == " main ": 下面初始化搞定。

結(jié)果:

這個(gè)肯定有解釋的

測(cè)試多進(jìn)程計(jì)算效果:

進(jìn)程池運(yùn)行:

結(jié)果:

普通計(jì)算:

我們同樣傳入 1 2 10 三個(gè)參數(shù)測(cè)試:

其實(shí)對(duì)比下來(lái)開始快了一半的;

我們把循環(huán)里的數(shù)字去掉一個(gè) 0;

單進(jìn)程:

多進(jìn)程:

兩次測(cè)試 單進(jìn)程/進(jìn)程池 分別為 0.669 和 0.772 幾乎成正比的。

問(wèn)題 二:

視圖:

post 視圖里面

Music 類:

直接報(bào)錯(cuò):

寫在 類里面也 在函數(shù)里用 self.pool 調(diào)用也不行,也是相同的錯(cuò)誤。

最后 把 pool = Pool 直接寫在 search 函數(shù)里面,奇跡出現(xiàn)了:

前臺(tái)也能顯示搜索的音樂結(jié)果了

總結(jié)一點(diǎn),進(jìn)程這個(gè)東西,最好 寫在 直接運(yùn)行的函數(shù)里面,而不是 一個(gè)函數(shù)跳來(lái)跳去。因?yàn)樽詈罂赡?是在子進(jìn)程的子進(jìn)程運(yùn)行的,這是不許的,會(huì)報(bào)錯(cuò)。

還有一點(diǎn),多進(jìn)程運(yùn)行的函數(shù)對(duì)象,不能是 lambda 函數(shù)。也許lambda 虛擬,在內(nèi)存??

使用 pool.map 子進(jìn)程 函數(shù)報(bào)錯(cuò),導(dǎo)致整個(gè) pool 掛了:

參考:

主要你要,對(duì)函數(shù)內(nèi)部捕獲錯(cuò)誤,而不能讓異常拋出就可以了。

關(guān)于map 傳多個(gè)函數(shù)參數(shù)

我一開始,就是正常思維,多個(gè)參數(shù),搞個(gè)元祖,讓參數(shù)一一對(duì)應(yīng)不就行了:

報(bào)錯(cuò):

參考:

普通的 process 當(dāng)讓可以穿多個(gè)參數(shù),map 卻不知道咋傳的。

apply_async 和map 一樣,不知道咋傳的。

最簡(jiǎn)單的方法:

使用 starmap 而不是 map

結(jié)果:

子進(jìn)程結(jié)束

1.8399453163146973

成功拿到結(jié)果了

關(guān)于map 和 starmap 不同的地方看源碼:

關(guān)于apply_async() ,我沒找到多參數(shù)的方法,大不了用 一個(gè)迭代的 starmap 實(shí)現(xiàn)。哈哈

關(guān)于 上面源碼里面有 itertools.starmap

itertools 用法參考:

有個(gè)問(wèn)題,多進(jìn)程最好不要使用全部的 cpu , 因?yàn)檫@樣可能影響其他任務(wù),所以 在進(jìn)程池 添加 process 參數(shù) 指定,cpu 個(gè)數(shù):

上面就是預(yù)留了 一個(gè)cpu 干其他事的

后面直接使用 Queue 遇到這個(gè)問(wèn)題:

解決:

Manager().Queue() 代替 Queue()

因?yàn)?queue.get() 是堵塞型的,所以可以提前判斷是不是 空的,以免堵塞進(jìn)程。比如下面這樣:

使用 queue.empty() 空為True

小白都看懂了,Python 中的線程和進(jìn)程精講,建議收藏

目錄

眾所周知,CPU是計(jì)算機(jī)的核心,它承擔(dān)了所有的計(jì)算任務(wù)。而操作系統(tǒng)是計(jì)算機(jī)的管理者,是一個(gè)大管家,它負(fù)責(zé)任務(wù)的調(diào)度,資源的分配和管理,統(tǒng)領(lǐng)整個(gè)計(jì)算機(jī)硬件。應(yīng)用程序是具有某種功能的程序,程序運(yùn)行與操作系統(tǒng)之上

在很早的時(shí)候計(jì)算機(jī)并沒有線程這個(gè)概念,但是隨著時(shí)代的發(fā)展,只用進(jìn)程來(lái)處理程序出現(xiàn)很多的不足。如當(dāng)一個(gè)進(jìn)程堵塞時(shí),整個(gè)程序會(huì)停止在堵塞處,并且如果頻繁的切換進(jìn)程,會(huì)浪費(fèi)系統(tǒng)資源。所以線程出現(xiàn)了

線程是能擁有資源和獨(dú)立運(yùn)行的最小單位,也是程序執(zhí)行的最小單位。一個(gè)進(jìn)程可以擁有多個(gè)線程,而且屬于同一個(gè)進(jìn)程的多個(gè)線程間會(huì)共享該進(jìn)行的資源

① 200 多本 Python 電子書(和經(jīng)典的書籍)應(yīng)該有

② Python標(biāo)準(zhǔn)庫(kù)資料(最全中文版)

③ 項(xiàng)目源碼(四五十個(gè)有趣且可靠的練手項(xiàng)目及源碼)

④ Python基礎(chǔ)入門、爬蟲、網(wǎng)絡(luò)開發(fā)、大數(shù)據(jù)分析方面的視頻(適合小白學(xué)習(xí))

⑤ Python學(xué)習(xí)路線圖(告別不入流的學(xué)習(xí))

私信我01即可獲取大量Python學(xué)習(xí)資源

進(jìn)程時(shí)一個(gè)具有一定功能的程序在一個(gè)數(shù)據(jù)集上的一次動(dòng)態(tài)執(zhí)行過(guò)程。進(jìn)程由程序,數(shù)據(jù)集合和進(jìn)程控制塊三部分組成。程序用于描述進(jìn)程要完成的功能,是控制進(jìn)程執(zhí)行的指令集;數(shù)據(jù)集合是程序在執(zhí)行時(shí)需要的數(shù)據(jù)和工作區(qū);程序控制塊(PCB)包含程序的描述信息和控制信息,是進(jìn)程存在的唯一標(biāo)志

在Python中,通過(guò)兩個(gè)標(biāo)準(zhǔn)庫(kù) thread 和 Threading 提供對(duì)線程的支持, threading 對(duì) thread 進(jìn)行了封裝。 threading 模塊中提供了 Thread , Lock , RLOCK , Condition 等組件

在Python中線程和進(jìn)程的使用就是通過(guò) Thread 這個(gè)類。這個(gè)類在我們的 thread 和 threading 模塊中。我們一般通過(guò) threading 導(dǎo)入

默認(rèn)情況下,只要在解釋器中,如果沒有報(bào)錯(cuò),則說(shuō)明線程可用

守護(hù)模式:

現(xiàn)在我們程序代碼中,有多個(gè)線程, 并且在這個(gè)幾個(gè)線程中都會(huì)去 操作同一部分內(nèi)容,那么如何實(shí)現(xiàn)這些數(shù)據(jù)的共享呢?

這時(shí),可以使用 threading庫(kù)里面的鎖對(duì)象 Lock 去保護(hù)

Lock 對(duì)象的acquire方法 是申請(qǐng)鎖

每個(gè)線程在操作共享數(shù)據(jù)對(duì)象之前,都應(yīng)該申請(qǐng)獲取操作權(quán),也就是調(diào)用該共享數(shù)據(jù)對(duì)象對(duì)應(yīng)的鎖對(duì)象的acquire方法,如果線程A 執(zhí)行了 acquire() 方法,別的線程B 已經(jīng)申請(qǐng)到了這個(gè)鎖, 并且還沒有釋放,那么 線程A的代碼就在此處 等待 線程B 釋放鎖,不去執(zhí)行后面的代碼。

直到線程B 執(zhí)行了鎖的 release 方法釋放了這個(gè)鎖, 線程A 才可以獲取這個(gè)鎖,就可以執(zhí)行下面的代碼了

如:

到在使用多線程時(shí),如果數(shù)據(jù)出現(xiàn)和自己預(yù)期不符的問(wèn)題,就可以考慮是否是共享的數(shù)據(jù)被調(diào)用覆蓋的問(wèn)題

使用 threading 庫(kù)里面的鎖對(duì)象 Lock 去保護(hù)

Python中的多進(jìn)程是通過(guò)multiprocessing包來(lái)實(shí)現(xiàn)的,和多線程的threading.Thread差不多,它可以利用multiprocessing.Process對(duì)象來(lái)創(chuàng)建一個(gè)進(jìn)程對(duì)象。這個(gè)進(jìn)程對(duì)象的方法和線程對(duì)象的方法差不多也有start(), run(), join()等方法,其中有一個(gè)方法不同Thread線程對(duì)象中的守護(hù)線程方法是setDeamon,而Process進(jìn)程對(duì)象的守護(hù)進(jìn)程是通過(guò)設(shè)置daemon屬性來(lái)完成的

守護(hù)模式:

其使用方法和線程的那個(gè) Lock 使用方法類似

Manager的作用是提供多進(jìn)程共享的全局變量,Manager()方法會(huì)返回一個(gè)對(duì)象,該對(duì)象控制著一個(gè)服務(wù)進(jìn)程,該進(jìn)程中保存的對(duì)象運(yùn)行其他進(jìn)程使用代理進(jìn)行操作

語(yǔ)法:

線程池的基類是 concurrent.futures 模塊中的 Executor , Executor 提供了兩個(gè)子類,即 ThreadPoolExecutor 和 ProcessPoolExecutor ,其中 ThreadPoolExecutor 用于創(chuàng)建線程池,而 ProcessPoolExecutor 用于創(chuàng)建進(jìn)程池

如果使用線程池/進(jìn)程池來(lái)管理并發(fā)編程,那么只要將相應(yīng)的 task 函數(shù)提交給線程池/進(jìn)程池,剩下的事情就由線程池/進(jìn)程池來(lái)搞定

Exectuor 提供了如下常用方法:

程序?qū)?task 函數(shù)提交(submit)給線程池后,submit 方法會(huì)返回一個(gè) Future 對(duì)象,F(xiàn)uture 類主要用于獲取線程任務(wù)函數(shù)的返回值。由于線程任務(wù)會(huì)在新線程中以異步方式執(zhí)行,因此,線程執(zhí)行的函數(shù)相當(dāng)于一個(gè)“將來(lái)完成”的任務(wù),所以 Python 使用 Future 來(lái)代表

Future 提供了如下方法:

使用線程池來(lái)執(zhí)行線程任務(wù)的步驟如下:

最佳線程數(shù)目 = ((線程等待時(shí)間+線程CPU時(shí)間)/線程CPU時(shí)間 )* CPU數(shù)目

也可以低于 CPU 核心數(shù)

使用線程池來(lái)執(zhí)行線程任務(wù)的步驟如下:

關(guān)于進(jìn)程的開啟代碼一定要放在 if __name__ == '__main__': 代碼之下,不能放到函數(shù)中或其他地方

開啟進(jìn)程的技巧

開啟進(jìn)程的數(shù)量最好低于最大 CPU 核心數(shù)

Python多進(jìn)程運(yùn)行——Multiprocessing基礎(chǔ)教程2

上篇文章簡(jiǎn)單介紹了multiprocessing模塊,本文將要介紹進(jìn)程之間的數(shù)據(jù)共享和信息傳遞的概念。

在多進(jìn)程處理中,所有新創(chuàng)建的進(jìn)程都會(huì)有這兩個(gè)特點(diǎn):獨(dú)立運(yùn)行,有自己的內(nèi)存空間。

我們來(lái)舉個(gè)例子展示一下:

這個(gè)程序的輸出結(jié)果是:

在上面的程序中我們嘗試在兩個(gè)地方打印全局列表result的內(nèi)容:

我們?cè)儆靡粡垐D來(lái)幫助理解記憶不同進(jìn)程間的數(shù)據(jù)關(guān)系:

如果程序需要在不同的進(jìn)程之間共享一些數(shù)據(jù)的話,該怎么做呢?不用擔(dān)心,multiprocessing模塊提供了Array對(duì)象和Value對(duì)象,用來(lái)在進(jìn)程之間共享數(shù)據(jù)。

所謂Array對(duì)象和Value對(duì)象分別是指從共享內(nèi)存中分配的ctypes數(shù)組和對(duì)象。我們直接來(lái)看一個(gè)例子,展示如何用Array對(duì)象和Value對(duì)象在進(jìn)程之間共享數(shù)據(jù):

程序輸出的結(jié)果如下:

成功了!主程序和p1進(jìn)程輸出了同樣的結(jié)果,說(shuō)明程序中確實(shí)完成了不同進(jìn)程間的數(shù)據(jù)共享。那么我們來(lái)詳細(xì)看一下上面的程序做了什么:

在主程序中我們首先創(chuàng)建了一個(gè)Array對(duì)象:

向這個(gè)對(duì)象輸入的第一個(gè)參數(shù)是數(shù)據(jù)類型:i表示整數(shù),d代表浮點(diǎn)數(shù)。第二個(gè)參數(shù)是數(shù)組的大小,在這個(gè)例子中我們創(chuàng)建了包含4個(gè)元素的數(shù)組。

類似的,我們創(chuàng)建了一個(gè)Value對(duì)象:

我們只對(duì)Value對(duì)象輸入了一個(gè)參數(shù),那就是數(shù)據(jù)類型,與上述的方法一致。當(dāng)然,我們還可以對(duì)其指定一個(gè)初始值(比如10),就像這樣:

隨后,我們?cè)趧?chuàng)建進(jìn)程對(duì)象時(shí),將剛創(chuàng)建好的兩個(gè)對(duì)象:result和square_sum作為參數(shù)輸入給進(jìn)程:

在函數(shù)中result元素通過(guò)索引進(jìn)行數(shù)組賦值,square_sum通過(guò) value 屬性進(jìn)行賦值。

注意:為了完整打印result數(shù)組的結(jié)果,需要使用 result[:] 進(jìn)行打印,而square_sum也需要使用 value 屬性進(jìn)行打?。?/p>

每當(dāng)python程序啟動(dòng)時(shí),同時(shí)也會(huì)啟動(dòng)一個(gè)服務(wù)器進(jìn)程。隨后,只要我們需要生成一個(gè)新進(jìn)程,父進(jìn)程就會(huì)連接到服務(wù)器并請(qǐng)求它派生一個(gè)新進(jìn)程。這個(gè)服務(wù)器進(jìn)程可以保存Python對(duì)象,并允許其他進(jìn)程使用代理來(lái)操作它們。

multiprocessing模塊提供了能夠控制服務(wù)器進(jìn)程的Manager類。所以,Manager類也提供了一種創(chuàng)建可以在不同流程之間共享的數(shù)據(jù)的方法。

服務(wù)器進(jìn)程管理器比使用共享內(nèi)存對(duì)象更靈活,因?yàn)樗鼈兛梢灾С秩我鈱?duì)象類型,如列表、字典、隊(duì)列、值、數(shù)組等。此外,單個(gè)管理器可以由網(wǎng)絡(luò)上不同計(jì)算機(jī)上的進(jìn)程共享。

但是,服務(wù)器進(jìn)程管理器的速度比使用共享內(nèi)存要慢。

讓我們來(lái)看一個(gè)例子:

這個(gè)程序的輸出結(jié)果是:

我們來(lái)理解一下這個(gè)程序做了什么:首先我們創(chuàng)建了一個(gè)manager對(duì)象

在with語(yǔ)句下的所有行,都是在manager對(duì)象的范圍內(nèi)的。接下來(lái)我們使用這個(gè)manager對(duì)象創(chuàng)建了列表(類似的,我們還可以用 manager.dict() 創(chuàng)建字典)。

最后我們創(chuàng)建了進(jìn)程p1(用于在records列表中插入一條新的record)和p2(將records打印出來(lái)),并將records作為參數(shù)進(jìn)行傳遞。

服務(wù)器進(jìn)程的概念再次用下圖總結(jié)一下:

為了能使多個(gè)流程能夠正常工作,常常需要在它們之間進(jìn)行一些通信,以便能夠劃分工作并匯總最后的結(jié)果。multiprocessing模塊支持進(jìn)程之間的兩種通信通道:Queue和Pipe。

使用隊(duì)列來(lái)回處理多進(jìn)程之間的通信是一種比較簡(jiǎn)單的方法。任何Python對(duì)象都可以使用隊(duì)列進(jìn)行傳遞。我們來(lái)看一個(gè)例子:

上面這個(gè)程序的輸出結(jié)果是:

我們來(lái)看一下上面這個(gè)程序到底做了什么。首先我們創(chuàng)建了一個(gè)Queue對(duì)象:

然后,將這個(gè)空的Queue對(duì)象輸入square_list函數(shù)。該函數(shù)會(huì)將列表中的數(shù)平方,再使用 put() 方法放入隊(duì)列中:

隨后使用 get() 方法,將q打印出來(lái),直至q重新稱為一個(gè)空的Queue對(duì)象:

我們還是用一張圖來(lái)幫助理解記憶:

一個(gè)Pipe對(duì)象只能有兩個(gè)端點(diǎn)。因此,當(dāng)進(jìn)程只需要雙向通信時(shí),它會(huì)比Queue對(duì)象更好用。

multiprocessing模塊提供了 Pipe() 函數(shù),該函數(shù)返回由管道連接的一對(duì)連接對(duì)象。 Pipe() 返回的兩個(gè)連接對(duì)象分別表示管道的兩端。每個(gè)連接對(duì)象都有 send() 和 recv() 方法。

我們來(lái)看一個(gè)例子:

上面這個(gè)程序的輸出結(jié)果是:

我們還是來(lái)看一下這個(gè)程序到底做了什么。首先創(chuàng)建了一個(gè)Pipe對(duì)象:

與上文說(shuō)的一樣,該對(duì)象返回了一對(duì)管道兩端的兩個(gè)連接對(duì)象。然后使用 send() 方法和 recv() 方法進(jìn)行信息的傳遞。就這么簡(jiǎn)單。在上面的程序中,我們從一端向另一端發(fā)送一串消息。在另一端,我們收到消息,并在收到END消息時(shí)退出。

要注意的是,如果兩個(gè)進(jìn)程(或線程)同時(shí)嘗試從管道的同一端讀取或?qū)懭牍艿乐械臄?shù)據(jù),則管道中的數(shù)據(jù)可能會(huì)損壞。不過(guò)不同的進(jìn)程同時(shí)使用管道的兩端是沒有問(wèn)題的。還要注意,Queue對(duì)象在進(jìn)程之間進(jìn)行了適當(dāng)?shù)耐?,但代價(jià)是增加了計(jì)算復(fù)雜度。因此,Queue對(duì)象對(duì)于線程和進(jìn)程是相對(duì)安全的。

最后我們還是用一張圖來(lái)示意:

Python的multiprocessing模塊還剩最后一篇文章:多進(jìn)程的同步與池化

敬請(qǐng)期待啦!

Python多進(jìn)程multiprocessing模塊介紹

multiprocessing 是一個(gè)支持使用與 threading 模塊類似的 API 來(lái)產(chǎn)生進(jìn)程的包。 multiprocessing 包同時(shí)提供了本地和遠(yuǎn)程并發(fā)操作,通過(guò)使用子進(jìn)程而非線程有效地繞過(guò)了 全局解釋器鎖。 因此,multiprocessing 模塊允許程序員充分利用給定機(jī)器上的多個(gè)處理器。 它在 Unix 和 Windows 上均可運(yùn)行。

1、multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)

2、相關(guān)方法

輸出結(jié)果如下:

Pool提供了一種快捷的方法,賦予函數(shù)并行化處理一系列輸入值的能力,可以將輸入數(shù)據(jù)分配給不同進(jìn)程處理(數(shù)據(jù)并行)。下面的例子演示了在模塊中定義此類函數(shù)的常見做法,以便子進(jìn)程可以成功導(dǎo)入該模塊。這個(gè)數(shù)據(jù)并行的基本例子使用了 Pool 。

將在標(biāo)準(zhǔn)輸出中打印

其中:

(1)p.apply(func [, args [, kwargs]]):在一個(gè)池工作進(jìn)程中執(zhí)行func( args, kwargs),然后返回結(jié)果。需要強(qiáng)調(diào)的是:此操作并不會(huì)在所有池工作進(jìn)程中并執(zhí)行func函數(shù)。如果要通過(guò)不同參數(shù)并發(fā)地執(zhí)行func函數(shù),必須從不同線程調(diào)用p.apply()函數(shù)或者使用p.apply_async()

(2)p.apply_async(func [, args [, kwargs]]):在一個(gè)池工作進(jìn)程中執(zhí)行func( args,**kwargs),然后返回結(jié)果。此方法的結(jié)果是 AsyncResult類的實(shí)例,callback是可調(diào)用對(duì)象,接收輸入?yún)?shù)。當(dāng)func的結(jié)果變?yōu)榭捎脮r(shí),將理解傳遞給callback。callback禁止執(zhí)行任何阻塞操作,否則將接收其他異步操作中的結(jié)果。多進(jìn)程并發(fā)!

(3)p.close():關(guān)閉進(jìn)程池,防止進(jìn)一步操作。如果所有操作持續(xù)掛起,它們將在工作進(jìn)程終止前完成

(4)p.jion():等待所有工作進(jìn)程退出。此方法只能在close()或teminate()之后調(diào)用

當(dāng)前標(biāo)題:python起進(jìn)程的函數(shù) python 獲取進(jìn)程
新聞來(lái)源:http://muchs.cn/article32/hgespc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)建站、域名注冊(cè)、虛擬主機(jī)、移動(dòng)網(wǎng)站建設(shè)、軟件開發(fā)、網(wǎng)站排名

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

小程序開發(fā)