python進程類函數(shù) python 線程和進程

python類和函數(shù)的區(qū)別

一、主體不同

在做網(wǎng)站、網(wǎng)站設(shè)計中從網(wǎng)站色彩、結(jié)構(gòu)布局、欄目設(shè)置、關(guān)鍵詞群組等細(xì)微處著手，突出企業(yè)的產(chǎn)品/服務(wù)/品牌，幫助企業(yè)鎖定精準(zhǔn)用戶，提高在線咨詢和轉(zhuǎn)化，使成都網(wǎng)站營銷成為有效果、有回報的無錫營銷推廣。創(chuàng)新互聯(lián)專業(yè)成都網(wǎng)站建設(shè)十載了，客戶滿意度97.8%，歡迎成都創(chuàng)新互聯(lián)客戶聯(lián)系。

1、類：是面向?qū)ο蟪绦蛟O(shè)計實現(xiàn)信息封裝的基礎(chǔ)。

2、函數(shù)：是指一段在一起的、可以做某一件事兒的程序。也叫做子程序、（OOP中）方法。

二、特點不同

1、類：是一種用戶定義的引用數(shù)據(jù)類型，也稱類類型。每個類包含數(shù)據(jù)說明和一組操作數(shù)據(jù)或傳遞消息的函數(shù)。類的實例稱為對象。

2、函數(shù)：分為全局函數(shù)、全局靜態(tài)函數(shù)；在類中還可以定義構(gòu)造函數(shù)、析構(gòu)函數(shù)、拷貝構(gòu)造函數(shù)、成員函數(shù)、友元函數(shù)、運算符重載函數(shù)、內(nèi)聯(lián)函數(shù)等。

三、規(guī)則不同

1、類：實質(zhì)是一種引用數(shù)據(jù)類型，類似于byte、short、int(char)、long、float、double等基本數(shù)據(jù)類型，不同的是它是一種復(fù)雜的數(shù)據(jù)類型。

2、函數(shù)：函數(shù)必須聲明后才可以被調(diào)用。調(diào)用格式為：函數(shù)名（實參）調(diào)用時函數(shù)名后的小括號中的實參必須和聲明函數(shù)時的函數(shù)括號中的形參個數(shù)相同。

參考資料來源：百度百科-函數(shù)

參考資料來源：百度百科-類

Python多進程運行——Multiprocessing基礎(chǔ)教程2

上篇文章簡單介紹了multiprocessing模塊，本文將要介紹進程之間的數(shù)據(jù)共享和信息傳遞的概念。

在多進程處理中，所有新創(chuàng)建的進程都會有這兩個特點：獨立運行，有自己的內(nèi)存空間。

我們來舉個例子展示一下：

這個程序的輸出結(jié)果是：

在上面的程序中我們嘗試在兩個地方打印全局列表result的內(nèi)容：

我們再用一張圖來幫助理解記憶不同進程間的數(shù)據(jù)關(guān)系：

如果程序需要在不同的進程之間共享一些數(shù)據(jù)的話，該怎么做呢？不用擔(dān)心，multiprocessing模塊提供了Array對象和Value對象，用來在進程之間共享數(shù)據(jù)。

所謂Array對象和Value對象分別是指從共享內(nèi)存中分配的ctypes數(shù)組和對象。我們直接來看一個例子，展示如何用Array對象和Value對象在進程之間共享數(shù)據(jù)：

程序輸出的結(jié)果如下：

成功了！主程序和p1進程輸出了同樣的結(jié)果，說明程序中確實完成了不同進程間的數(shù)據(jù)共享。那么我們來詳細(xì)看一下上面的程序做了什么：

在主程序中我們首先創(chuàng)建了一個Array對象：

向這個對象輸入的第一個參數(shù)是數(shù)據(jù)類型：i表示整數(shù)，d代表浮點數(shù)。第二個參數(shù)是數(shù)組的大小，在這個例子中我們創(chuàng)建了包含4個元素的數(shù)組。

類似的，我們創(chuàng)建了一個Value對象：

我們只對Value對象輸入了一個參數(shù)，那就是數(shù)據(jù)類型，與上述的方法一致。當(dāng)然，我們還可以對其指定一個初始值（比如10），就像這樣：

隨后，我們在創(chuàng)建進程對象時，將剛創(chuàng)建好的兩個對象：result和square_sum作為參數(shù)輸入給進程：

在函數(shù)中result元素通過索引進行數(shù)組賦值，square_sum通過 value 屬性進行賦值。

注意：為了完整打印result數(shù)組的結(jié)果，需要使用 result[:] 進行打印，而square_sum也需要使用 value 屬性進行打?。?/p>

每當(dāng)python程序啟動時，同時也會啟動一個服務(wù)器進程。隨后，只要我們需要生成一個新進程，父進程就會連接到服務(wù)器并請求它派生一個新進程。這個服務(wù)器進程可以保存Python對象，并允許其他進程使用代理來操作它們。

multiprocessing模塊提供了能夠控制服務(wù)器進程的Manager類。所以，Manager類也提供了一種創(chuàng)建可以在不同流程之間共享的數(shù)據(jù)的方法。

服務(wù)器進程管理器比使用共享內(nèi)存對象更靈活，因為它們可以支持任意對象類型，如列表、字典、隊列、值、數(shù)組等。此外，單個管理器可以由網(wǎng)絡(luò)上不同計算機上的進程共享。

但是，服務(wù)器進程管理器的速度比使用共享內(nèi)存要慢。

讓我們來看一個例子：

這個程序的輸出結(jié)果是：

我們來理解一下這個程序做了什么：首先我們創(chuàng)建了一個manager對象

在with語句下的所有行，都是在manager對象的范圍內(nèi)的。接下來我們使用這個manager對象創(chuàng)建了列表（類似的，我們還可以用 manager.dict() 創(chuàng)建字典）。

最后我們創(chuàng)建了進程p1（用于在records列表中插入一條新的record）和p2（將records打印出來），并將records作為參數(shù)進行傳遞。

服務(wù)器進程的概念再次用下圖總結(jié)一下：

為了能使多個流程能夠正常工作，常常需要在它們之間進行一些通信，以便能夠劃分工作并匯總最后的結(jié)果。multiprocessing模塊支持進程之間的兩種通信通道：Queue和Pipe。

使用隊列來回處理多進程之間的通信是一種比較簡單的方法。任何Python對象都可以使用隊列進行傳遞。我們來看一個例子：

上面這個程序的輸出結(jié)果是：

我們來看一下上面這個程序到底做了什么。首先我們創(chuàng)建了一個Queue對象：

然后，將這個空的Queue對象輸入square_list函數(shù)。該函數(shù)會將列表中的數(shù)平方，再使用 put() 方法放入隊列中：

隨后使用 get() 方法，將q打印出來，直至q重新稱為一個空的Queue對象：

我們還是用一張圖來幫助理解記憶：

一個Pipe對象只能有兩個端點。因此，當(dāng)進程只需要雙向通信時，它會比Queue對象更好用。

multiprocessing模塊提供了 Pipe() 函數(shù)，該函數(shù)返回由管道連接的一對連接對象。 Pipe() 返回的兩個連接對象分別表示管道的兩端。每個連接對象都有 send() 和 recv() 方法。

我們來看一個例子：

上面這個程序的輸出結(jié)果是：

我們還是來看一下這個程序到底做了什么。首先創(chuàng)建了一個Pipe對象：

與上文說的一樣，該對象返回了一對管道兩端的兩個連接對象。然后使用 send() 方法和 recv() 方法進行信息的傳遞。就這么簡單。在上面的程序中，我們從一端向另一端發(fā)送一串消息。在另一端，我們收到消息，并在收到END消息時退出。

要注意的是，如果兩個進程(或線程)同時嘗試從管道的同一端讀取或?qū)懭牍艿乐械臄?shù)據(jù)，則管道中的數(shù)據(jù)可能會損壞。不過不同的進程同時使用管道的兩端是沒有問題的。還要注意，Queue對象在進程之間進行了適當(dāng)?shù)耐?，但代價是增加了計算復(fù)雜度。因此，Queue對象對于線程和進程是相對安全的。

最后我們還是用一張圖來示意：

Python的multiprocessing模塊還剩最后一篇文章：多進程的同步與池化

敬請期待啦！

python中的進程-實戰(zhàn)部分

如果想了解進程 可以先看一下這一篇 python中的進程-理論部分

python中的多線程無法利用多核優(yōu)勢，如果想要充分地使用多核CPU的資源（os.cpu_count()查看），在python中大部分情況需要使用多進程。Python提供了multiprocessing。

multiprocessing模塊用來開啟子進程，并在子進程中執(zhí)行我們定制的任務(wù)（比如函數(shù)），該模塊與多線程模塊threading的編程接口類似。

　 multiprocessing模塊的功能眾多：支持子進程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步，提供了Process、Queue、Pipe、Lock等組件。

需要再次強調(diào)的一點是：與線程不同，進程沒有任何共享狀態(tài)，進程修改的數(shù)據(jù)，改動僅限于該進程內(nèi)。

創(chuàng)建進程的類 ：

參數(shù)介紹：

group參數(shù)未使用，值始終為None

target表示調(diào)用對象，即子進程要執(zhí)行的任務(wù)

args表示調(diào)用對象的位置參數(shù)元組，args=(1,2,'tiga',)

kwargs表示調(diào)用對象的字典,kwargs={'name':'tiga','age':18}

name為子進程的名稱

方法介紹：

p.start()：啟動進程，并調(diào)用該子進程中的p.run()

p.run():進程啟動時運行的方法，正是它去調(diào)用target指定的函數(shù)，我們自定義類的類中一定要實現(xiàn)該方法

p.terminate():強制終止進程p，不會進行任何清理操作，如果p創(chuàng)建了子進程，該子進程就成了僵尸進程，使用該方法需要特別小心這種情況。如果p還保存了一個鎖那么也將不會被釋放，進而導(dǎo)致死鎖

p.is_alive():如果p仍然運行，返回True

p.join([timeout]):主線程等待p終止（強調(diào)：是主線程處于等的狀態(tài)，而p是處于運行的狀態(tài)）。timeout是可選的超時時間，需要強調(diào)的是，p.join只能join住start開啟的進程，而不能join住run開啟的進程

屬性介紹：

注意：在windows中Process()必須放到# if __name__ == '__main__':下

創(chuàng)建并開啟子進程的兩種方式

方法一:

方法二：

有了join，程序不就是串行了嗎？？？

terminate與is_alive

name與pid

python 多進程

基于官方文檔：

日樂購，剛才看到的一個博客，寫的都不太對，還是基于官方的比較穩(wěn)妥

我就是喜歡抄官方的，哈哈

通常我們使用Process實例化一個進程，并調(diào)用 他的 start() 方法啟動它。

這種方法和 Thread 是一樣的。

上圖中，我寫了 p.join() 所以主進程是 等待 子進程執(zhí)行完后，才執(zhí)行 print("運行結(jié)束")

否則就是反過來了（這個不一定，看你的語句了，順序其實是隨機的）例如：

主進加個 sleep

所以不加join() ,其實子進程和主進程是各干各的，誰也不等誰。都執(zhí)行完后，文件運行就結(jié)束了

上面我們用了 os.getpid() 和 os.getppid() 獲取 當(dāng)前進程，和父進程的id

下面就講一下，這兩個函數(shù)的用法：

os.getpid()

返回當(dāng)前進程的id

os.getppid()

返回父進程的id。 父進程退出后，unix 返回初始化進程（1）中的一個

windows返回相同的id (可能被其他進程使用了)

這也就解釋了，為啥我上面 的程序運行多次， 第一次打印的parentid 都是 14212 了。

而子進程的父級 process id 是調(diào)用他的那個進程的 id ： 1940

視頻筆記：

多進程：使用大致方法：

參考： 進程通信（pipe和queue）

pool.map （函數(shù)可以有return 也可以共享內(nèi)存或queue） 結(jié)果直接是個列表

poll.apply_async() （同map,只不過是一個進程，返回結(jié)果用 xx.get() 獲得）

報錯：

參考 ：

把 pool = Pool() 放到 if name == " main ": 下面初始化搞定。

結(jié)果：

這個肯定有解釋的

測試多進程計算效果：

進程池運行：

結(jié)果：

普通計算：

我們同樣傳入 1 2 10 三個參數(shù)測試：

其實對比下來開始快了一半的；

我們把循環(huán)里的數(shù)字去掉一個 0；

單進程：

多進程：

兩次測試 單進程/進程池 分別為 0.669 和 0.772 幾乎成正比的。

問題 二：

視圖：

post 視圖里面

Music 類：

直接報錯：

寫在 類里面也 在函數(shù)里用 self.pool 調(diào)用也不行，也是相同的錯誤。

最后 把 pool = Pool 直接寫在 search 函數(shù)里面，奇跡出現(xiàn)了：

前臺也能顯示搜索的音樂結(jié)果了

總結(jié)一點，進程這個東西，最好 寫在 直接運行的函數(shù)里面，而不是 一個函數(shù)跳來跳去。因為最后可能 是在子進程的子進程運行的，這是不許的，會報錯。

還有一點，多進程運行的函數(shù)對象，不能是 lambda 函數(shù)。也許lambda 虛擬，在內(nèi)存？？

使用 pool.map 子進程 函數(shù)報錯，導(dǎo)致整個 pool 掛了:

參考：

主要你要，對函數(shù)內(nèi)部捕獲錯誤，而不能讓異常拋出就可以了。

關(guān)于map 傳多個函數(shù)參數(shù)

我一開始，就是正常思維，多個參數(shù)，搞個元祖，讓參數(shù)一一對應(yīng)不就行了：

報錯：

參考：

普通的 process 當(dāng)讓可以穿多個參數(shù)，map 卻不知道咋傳的。

apply_async 和map 一樣，不知道咋傳的。

最簡單的方法：

使用 starmap 而不是 map

結(jié)果：

子進程結(jié)束

1.8399453163146973

成功拿到結(jié)果了

關(guān)于map 和 starmap 不同的地方看源碼：

關(guān)于apply_async() ,我沒找到多參數(shù)的方法，大不了用 一個迭代的 starmap 實現(xiàn)。哈哈

關(guān)于 上面源碼里面有 itertools.starmap

itertools 用法參考：

有個問題，多進程最好不要使用全部的 cpu , 因為這樣可能影響其他任務(wù)，所以 在進程池 添加 process 參數(shù) 指定，cpu 個數(shù)：

上面就是預(yù)留了 一個cpu 干其他事的

后面直接使用 Queue 遇到這個問題：

解決：

Manager().Queue() 代替 Queue()

因為 queue.get() 是堵塞型的，所以可以提前判斷是不是 空的，以免堵塞進程。比如下面這樣：

使用 queue.empty() 空為True

小白都看懂了，Python 中的線程和進程精講，建議收藏

目錄

眾所周知，CPU是計算機的核心，它承擔(dān)了所有的計算任務(wù)。而操作系統(tǒng)是計算機的管理者，是一個大管家，它負(fù)責(zé)任務(wù)的調(diào)度，資源的分配和管理，統(tǒng)領(lǐng)整個計算機硬件。應(yīng)用程序是具有某種功能的程序，程序運行與操作系統(tǒng)之上

在很早的時候計算機并沒有線程這個概念，但是隨著時代的發(fā)展，只用進程來處理程序出現(xiàn)很多的不足。如當(dāng)一個進程堵塞時，整個程序會停止在堵塞處，并且如果頻繁的切換進程，會浪費系統(tǒng)資源。所以線程出現(xiàn)了

線程是能擁有資源和獨立運行的最小單位，也是程序執(zhí)行的最小單位。一個進程可以擁有多個線程，而且屬于同一個進程的多個線程間會共享該進行的資源

① 200 多本 Python 電子書（和經(jīng)典的書籍）應(yīng)該有

② Python標(biāo)準(zhǔn)庫資料（最全中文版）

③ 項目源碼（四五十個有趣且可靠的練手項目及源碼）

④ Python基礎(chǔ)入門、爬蟲、網(wǎng)絡(luò)開發(fā)、大數(shù)據(jù)分析方面的視頻（適合小白學(xué)習(xí)）

⑤ Python學(xué)習(xí)路線圖（告別不入流的學(xué)習(xí)）

私信我01即可獲取大量Python學(xué)習(xí)資源

進程時一個具有一定功能的程序在一個數(shù)據(jù)集上的一次動態(tài)執(zhí)行過程。進程由程序，數(shù)據(jù)集合和進程控制塊三部分組成。程序用于描述進程要完成的功能，是控制進程執(zhí)行的指令集；數(shù)據(jù)集合是程序在執(zhí)行時需要的數(shù)據(jù)和工作區(qū)；程序控制塊（PCB）包含程序的描述信息和控制信息，是進程存在的唯一標(biāo)志

在Python中，通過兩個標(biāo)準(zhǔn)庫 thread 和 Threading 提供對線程的支持, threading 對 thread 進行了封裝。 threading 模塊中提供了 Thread , Lock , RLOCK , Condition 等組件

在Python中線程和進程的使用就是通過 Thread 這個類。這個類在我們的 thread 和 threading 模塊中。我們一般通過 threading 導(dǎo)入

默認(rèn)情況下，只要在解釋器中，如果沒有報錯，則說明線程可用

守護模式：

現(xiàn)在我們程序代碼中，有多個線程， 并且在這個幾個線程中都會去 操作同一部分內(nèi)容，那么如何實現(xiàn)這些數(shù)據(jù)的共享呢？

這時，可以使用 threading庫里面的鎖對象 Lock 去保護

Lock 對象的acquire方法 是申請鎖

每個線程在操作共享數(shù)據(jù)對象之前，都應(yīng)該申請獲取操作權(quán)，也就是調(diào)用該共享數(shù)據(jù)對象對應(yīng)的鎖對象的acquire方法，如果線程A 執(zhí)行了 acquire() 方法，別的線程B 已經(jīng)申請到了這個鎖， 并且還沒有釋放，那么 線程A的代碼就在此處 等待 線程B 釋放鎖，不去執(zhí)行后面的代碼。

直到線程B 執(zhí)行了鎖的 release 方法釋放了這個鎖， 線程A 才可以獲取這個鎖，就可以執(zhí)行下面的代碼了

如：

到在使用多線程時，如果數(shù)據(jù)出現(xiàn)和自己預(yù)期不符的問題，就可以考慮是否是共享的數(shù)據(jù)被調(diào)用覆蓋的問題

使用 threading 庫里面的鎖對象 Lock 去保護

Python中的多進程是通過multiprocessing包來實現(xiàn)的，和多線程的threading.Thread差不多，它可以利用multiprocessing.Process對象來創(chuàng)建一個進程對象。這個進程對象的方法和線程對象的方法差不多也有start(), run(), join()等方法，其中有一個方法不同Thread線程對象中的守護線程方法是setDeamon，而Process進程對象的守護進程是通過設(shè)置daemon屬性來完成的

守護模式：

其使用方法和線程的那個 Lock 使用方法類似

Manager的作用是提供多進程共享的全局變量，Manager()方法會返回一個對象，該對象控制著一個服務(wù)進程，該進程中保存的對象運行其他進程使用代理進行操作

語法：

線程池的基類是 concurrent.futures 模塊中的 Executor ， Executor 提供了兩個子類，即 ThreadPoolExecutor 和 ProcessPoolExecutor ，其中 ThreadPoolExecutor 用于創(chuàng)建線程池，而 ProcessPoolExecutor 用于創(chuàng)建進程池

如果使用線程池/進程池來管理并發(fā)編程，那么只要將相應(yīng)的 task 函數(shù)提交給線程池/進程池，剩下的事情就由線程池/進程池來搞定

Exectuor 提供了如下常用方法：

程序?qū)?task 函數(shù)提交（submit）給線程池后，submit 方法會返回一個 Future 對象，F(xiàn)uture 類主要用于獲取線程任務(wù)函數(shù)的返回值。由于線程任務(wù)會在新線程中以異步方式執(zhí)行，因此，線程執(zhí)行的函數(shù)相當(dāng)于一個“將來完成”的任務(wù)，所以 Python 使用 Future 來代表

Future 提供了如下方法：

使用線程池來執(zhí)行線程任務(wù)的步驟如下：

最佳線程數(shù)目 = （（線程等待時間+線程CPU時間）/線程CPU時間 ）* CPU數(shù)目

也可以低于 CPU 核心數(shù)

使用線程池來執(zhí)行線程任務(wù)的步驟如下：

關(guān)于進程的開啟代碼一定要放在 if __name__ == '__main__': 代碼之下，不能放到函數(shù)中或其他地方

開啟進程的技巧

開啟進程的數(shù)量最好低于最大 CPU 核心數(shù)

本文標(biāo)題：python進程類函數(shù) python 線程和進程
網(wǎng)頁鏈接：http://muchs.cn/article16/hheedg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、網(wǎng)站導(dǎo)航、網(wǎng)站策劃、靜態(tài)網(wǎng)站、搜索引擎優(yōu)化、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)