python多線程函數(shù)類 python中的多線程

python之多線程

進(jìn)程的概念：以一個(gè)整體的形式暴露給操作系統(tǒng)管理，里面包含各種資源的調(diào)用。 對各種資源管理的集合就可以稱為進(jìn)程。

站在用戶的角度思考問題，與客戶深入溝通，找到額濟(jì)納網(wǎng)站設(shè)計(jì)與額濟(jì)納網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：網(wǎng)站制作、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、主機(jī)域名、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋額濟(jì)納地區(qū)。

線程的概念：是操作系統(tǒng)能夠進(jìn)行運(yùn)算調(diào)度的最小單位。本質(zhì)上就是一串指令的集合。

進(jìn)程和線程的區(qū)別：

1、線程共享內(nèi)存空間，進(jìn)程有獨(dú)立的內(nèi)存空間。

2、線程啟動(dòng)速度快，進(jìn)程啟動(dòng)速度慢。注意：二者的運(yùn)行速度是無法比較的。

3、線程是執(zhí)行的指令集，進(jìn)程是資源的集合

4、兩個(gè)子進(jìn)程之間數(shù)據(jù)不共享，完全獨(dú)立。同一個(gè)進(jìn)程下的線程共享同一份數(shù)據(jù)。

5、創(chuàng)建新的線程很簡單，創(chuàng)建新的進(jìn)程需要對他的父進(jìn)程進(jìn)行一次克隆。

6、一個(gè)線程可以操作（控制）同一進(jìn)程里的其他線程，但是進(jìn)程只能操作子進(jìn)程

7、同一個(gè)進(jìn)程的線程可以直接交流，兩個(gè)進(jìn)程想要通信，必須通過一個(gè)中間代理來實(shí)現(xiàn)。

8、對于線程的修改，可能會(huì)影響到其他線程的行為。但是對于父進(jìn)程的修改不會(huì)影響到子進(jìn)程。

第一個(gè)程序，使用循環(huán)來創(chuàng)建線程，但是這個(gè)程序中一共有51個(gè)線程，我們創(chuàng)建了50個(gè)線程，但是還有一個(gè)程序本身的線程，是主線程。這51個(gè)線程是并行的。注意：這個(gè)程序中是主線程啟動(dòng)了子線程。

相比上個(gè)程序，這個(gè)程序多了一步計(jì)算時(shí)間，但是我們觀察結(jié)果會(huì)發(fā)現(xiàn)，程序顯示的執(zhí)行時(shí)間只有0.007秒，這是因?yàn)樽詈笠粋€(gè)print函數(shù)它存在于主線程，而整個(gè)程序主線程和所有子線程是并行的，那么可想而知，在子線程還沒有執(zhí)行完畢的時(shí)候print函數(shù)就已經(jīng)執(zhí)行了，總的來說，這個(gè)時(shí)間只是執(zhí)行了一個(gè)線程也就是主線程所用的時(shí)間。

接下來這個(gè)程序，吸取了上面這個(gè)程序的缺點(diǎn)，創(chuàng)建了一個(gè)列表，把所有的線程實(shí)例都存進(jìn)去，然后使用一個(gè)for循環(huán)依次對線程實(shí)例調(diào)用join方法，這樣就可以使得主線程等待所創(chuàng)建的所有子線程執(zhí)行完畢才能往下走。 注意實(shí)驗(yàn)結(jié)果：和兩個(gè)線程的結(jié)果都是兩秒多一點(diǎn)

注意觀察實(shí)驗(yàn)結(jié)果，并沒有執(zhí)行打印task has done，并且程序執(zhí)行時(shí)間極其短。

這是因?yàn)樵谥骶€程啟動(dòng)子線程前把子線程設(shè)置為守護(hù)線程。

只要主線程執(zhí)行完畢，不管子線程是否執(zhí)行完畢，就結(jié)束。但是會(huì)等待非守護(hù)線程執(zhí)行完畢

主線程退出，守護(hù)線程全部強(qiáng)制退出?；实鬯懒耍腿艘哺吃?/p>

應(yīng)用的場景 ： socket-server

注意：gil只是為了減低程序開發(fā)復(fù)雜度。但是在2.幾的版本上，需要加用戶態(tài)的鎖（gil的缺陷）而在3點(diǎn)幾的版本上，加鎖不加鎖都一樣。

下面這個(gè)程序是一個(gè)典型的生產(chǎn)者消費(fèi)者模型。

生產(chǎn)者消費(fèi)者模型是經(jīng)典的在開發(fā)架構(gòu)中使用的模型

運(yùn)維中的集群就是生產(chǎn)者消費(fèi)者模型，生活中很多都是

那么，多線程的使用場景是什么？

python中的多線程實(shí)質(zhì)上是對上下文的不斷切換，可以說是假的多線程。而我們知道，io操作不占用cpu，計(jì)算占用cpu，那么python的多線程適合io操作密集的任務(wù)，比如socket-server，那么cpu密集型的任務(wù)，python怎么處理？python可以折中的利用計(jì)算機(jī)的多核：啟動(dòng)八個(gè)進(jìn)程，每個(gè)進(jìn)程有一個(gè)線程。這樣就可以利用多進(jìn)程解決多核問題。

python之多線程原理

并發(fā)：邏輯上具備同時(shí)處理多個(gè)任務(wù)的能力。

并行：物理上在同一時(shí)刻執(zhí)行多個(gè)并發(fā)任務(wù)。

舉例：開個(gè)QQ，開了一個(gè)進(jìn)程，開了微信，開了一個(gè)進(jìn)程。在QQ這個(gè)進(jìn)程里面，傳輸文字開一個(gè)線程、傳輸語音開了一個(gè)線程、彈出對話框又開了一個(gè)線程。

總結(jié)：開一個(gè)軟件，相當(dāng)于開了一個(gè)進(jìn)程。在這個(gè)軟件運(yùn)行的過程里，多個(gè)工作同時(shí)運(yùn)轉(zhuǎn)，完成了QQ的運(yùn)行，那么這個(gè)多個(gè)工作分別有多個(gè)線程。

線程和進(jìn)程之間的區(qū)別：

進(jìn)程在python中的使用，對模塊threading進(jìn)行操作，調(diào)用的這個(gè)三方庫?？梢酝ㄟ^ help(threading) 了解其中的方法、變量使用情況。也可以使用 dir(threading) 查看目錄結(jié)構(gòu)。

current_thread_num = threading.active_count() # 返回正在運(yùn)行的線程數(shù)量

run_thread_len = len(threading.enumerate()) # 返回正在運(yùn)行的線程數(shù)量

run_thread_list = threading.enumerate() # 返回當(dāng)前運(yùn)行線程的列表

t1=threading.Thread(target=dance) #創(chuàng)建兩個(gè)子線程，參數(shù)傳遞為函數(shù)名

t1.setDaemon(True) # 設(shè)置守護(hù)進(jìn)程，守護(hù)進(jìn)程：主線程結(jié)束時(shí)自動(dòng)退出子線程。

t1.start() # 啟動(dòng)子線程

t1.join() # 等待進(jìn)程結(jié)束 exit()`# 主線程退出，t1子線程設(shè)置了守護(hù)進(jìn)程，會(huì)自動(dòng)退出。其他子線程會(huì)繼續(xù)執(zhí)行。

python多線程的幾種方法

Python進(jìn)階(二十六)-多線程實(shí)現(xiàn)同步的四種方式

臨界資源即那些一次只能被一個(gè)線程訪問的資源，典型例子就是打印機(jī)，它一次只能被一個(gè)程序用來執(zhí)行打印功能，因?yàn)椴荒芏鄠€(gè)線程同時(shí)操作，而訪問這部分資源的代碼通常稱之為臨界區(qū)。

鎖機(jī)制

threading的Lock類，用該類的acquire函數(shù)進(jìn)行加鎖，用realease函數(shù)進(jìn)行解鎖

import threadingimport timeclass Num:

def __init__(self):

self.num = 0

self.lock = threading.Lock() def add(self):

self.lock.acquire()#加鎖，鎖住相應(yīng)的資源

self.num += 1

num = self.num

self.lock.release()#解鎖，離開該資源

return num

n = Num()class jdThread(threading.Thread):

def __init__(self,item):

threading.Thread.__init__(self)

self.item = item def run(self):

time.sleep(2)

value = n.add()#將num加1，并輸出原來的數(shù)據(jù)和+1之后的數(shù)據(jù)

print(self.item,value)for item in range(5):

t = jdThread(item)

t.start()

t.join()#使線程一個(gè)一個(gè)執(zhí)行12345678910111213141516171819202122232425262728

當(dāng)一個(gè)線程調(diào)用鎖的acquire()方法獲得鎖時(shí)，鎖就進(jìn)入“l(fā)ocked”狀態(tài)。每次只有一個(gè)線程可以獲得鎖。如果此時(shí)另一個(gè)線程試圖獲得這個(gè)鎖，該線程就會(huì)變?yōu)椤癰locked”狀態(tài)，稱為“同步阻塞”（參見多線程的基本概念）。

直到擁有鎖的線程調(diào)用鎖的release()方法釋放鎖之后，鎖進(jìn)入“unlocked”狀態(tài)。線程調(diào)度程序從處于同步阻塞狀態(tài)的線程中選擇一個(gè)來獲得鎖，并使得該線程進(jìn)入運(yùn)行（running）狀態(tài)。

信號(hào)量

信號(hào)量也提供acquire方法和release方法，每當(dāng)調(diào)用acquire方法的時(shí)候，如果內(nèi)部計(jì)數(shù)器大于0，則將其減1，如果內(nèi)部計(jì)數(shù)器等于0，則會(huì)阻塞該線程，知道有線程調(diào)用了release方法將內(nèi)部計(jì)數(shù)器更新到大于1位置。

import threadingimport timeclass Num:

def __init__(self):

self.num = 0

self.sem = threading.Semaphore(value = 3) #允許最多三個(gè)線程同時(shí)訪問資源

def add(self):

self.sem.acquire()#內(nèi)部計(jì)數(shù)器減1

self.num += 1

num = self.num

self.sem.release()#內(nèi)部計(jì)數(shù)器加1

return num

n = Num()class jdThread(threading.Thread):

def __init__(self,item):

threading.Thread.__init__(self)

self.item = item def run(self):

time.sleep(2)

value = n.add()

print(self.item,value)for item in range(100):

Python多線程總結(jié)

在實(shí)際處理數(shù)據(jù)時(shí)，因系統(tǒng)內(nèi)存有限，我們不可能一次把所有數(shù)據(jù)都導(dǎo)出進(jìn)行操作，所以需要批量導(dǎo)出依次操作。為了加快運(yùn)行，我們會(huì)采用多線程的方法進(jìn)行數(shù)據(jù)處理， 以下為我總結(jié)的多線程批量處理數(shù)據(jù)的模板：

主要分為三大部分：

共分4部分對多線程的內(nèi)容進(jìn)行總結(jié)。

先為大家介紹線程的相關(guān)概念:

在飛車程序中，如果沒有多線程，我們就不能一邊聽歌一邊玩飛車，聽歌與玩 游戲 不能并行；在使用多線程后，我們就可以在玩 游戲 的同時(shí)聽背景音樂。在這個(gè)例子中啟動(dòng)飛車程序就是一個(gè)進(jìn)程，玩 游戲 和聽音樂是兩個(gè)線程。

Python 提供了 threading 模塊來實(shí)現(xiàn)多線程:

因?yàn)樾陆ň€程系統(tǒng)需要分配資源、終止線程系統(tǒng)需要回收資源，所以如果可以重用線程，則可以減去新建/終止的開銷以提升性能。同時(shí)，使用線程池的語法比自己新建線程執(zhí)行線程更加簡潔。

Python 為我們提供了 ThreadPoolExecutor 來實(shí)現(xiàn)線程池，此線程池默認(rèn)子線程守護(hù)。它的適應(yīng)場景為突發(fā)性大量請求或需要大量線程完成任務(wù)，但實(shí)際任務(wù)處理時(shí)間較短。

其中 max_workers 為線程池中的線程個(gè)數(shù)，常用的遍歷方法有 map 和 submit+as_completed 。根據(jù)業(yè)務(wù)場景的不同，若我們需要輸出結(jié)果按遍歷順序返回，我們就用 map 方法，若想誰先完成就返回誰，我們就用 submit+as_complete 方法。

我們把一個(gè)時(shí)間段內(nèi)只允許一個(gè)線程使用的資源稱為臨界資源，對臨界資源的訪問，必須互斥的進(jìn)行。互斥，也稱間接制約關(guān)系。線程互斥指當(dāng)一個(gè)線程訪問某臨界資源時(shí)，另一個(gè)想要訪問該臨界資源的線程必須等待。當(dāng)前訪問臨界資源的線程訪問結(jié)束，釋放該資源之后，另一個(gè)線程才能去訪問臨界資源。鎖的功能就是實(shí)現(xiàn)線程互斥。

我把線程互斥比作廁所包間上大號(hào)的過程，因?yàn)榘g里只有一個(gè)坑，所以只允許一個(gè)人進(jìn)行大號(hào)。當(dāng)?shù)谝粋€(gè)人要上廁所時(shí)，會(huì)將門上上鎖，這時(shí)如果第二個(gè)人也想大號(hào)，那就必須等第一個(gè)人上完，將鎖解開后才能進(jìn)行，在這期間第二個(gè)人就只能在門外等著。這個(gè)過程與代碼中使用鎖的原理如出一轍，這里的坑就是臨界資源。 Python 的 threading 模塊引入了鎖。 threading 模塊提供了 Lock 類，它有如下方法加鎖和釋放鎖：

我們會(huì)發(fā)現(xiàn)這個(gè)程序只會(huì)打印“第一道鎖”，而且程序既沒有終止，也沒有繼續(xù)運(yùn)行。這是因?yàn)? Lock 鎖在同一線程內(nèi)第一次加鎖之后還沒有釋放時(shí)，就進(jìn)行了第二次 acquire 請求，導(dǎo)致無法執(zhí)行 release ，所以鎖永遠(yuǎn)無法釋放，這就是死鎖。如果我們使用 RLock 就能正常運(yùn)行，不會(huì)發(fā)生死鎖的狀態(tài)。

在主線程中定義 Lock 鎖，然后上鎖，再創(chuàng)建一個(gè)子 線程t 運(yùn)行 main 函數(shù)釋放鎖，結(jié)果正常輸出，說明主線程上的鎖，可由子線程解鎖。

如果把上面的鎖改為 RLock 則報(bào)錯(cuò)。在實(shí)際中設(shè)計(jì)程序時(shí)，我們會(huì)將每個(gè)功能分別封裝成一個(gè)函數(shù)，每個(gè)函數(shù)中都可能會(huì)有臨界區(qū)域，所以就需要用到 RLock 。

一句話總結(jié)就是 Lock 不能套娃， RLock 可以套娃； Lock 可以由其他線程中的鎖進(jìn)行操作， RLock 只能由本線程進(jìn)行操作。

本文標(biāo)題：python多線程函數(shù)類 python中的多線程
本文鏈接：http://muchs.cn/article38/doccipp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗(yàn)、App設(shè)計(jì)、靜態(tài)網(wǎng)站、動(dòng)態(tài)網(wǎng)站、小程序開發(fā)、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)