Python實際案例演示：一行Python代碼實現(xiàn)并行-創(chuàng)新互聯(lián)

Python 在程序并行化方面多少有些聲名狼藉。撇開技術(shù)上的問題，例如線程的實現(xiàn)和 GIL，我覺得錯誤的教學指導才是主要問題。

10余年的秀英網(wǎng)站建設(shè)經(jīng)驗，針對設(shè)計、前端、開發(fā)、售后、文案、推廣等六對一服務(wù)，響應(yīng)快，48小時及時工作處理。全網(wǎng)營銷推廣的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動調(diào)整秀英建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)從事“秀英網(wǎng)站設(shè)計”,“秀英網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。

常見的經(jīng)典 Python 多線程、多進程教程多顯得偏"重"。而且往往隔靴搔癢，沒有深入探討日常工作中最有用的內(nèi)容。

傳統(tǒng)的例子

簡單搜索下"Python 多線程教程"，不難發(fā)現(xiàn)幾乎所有的教程都給出涉及類和隊列的例子：

import os

import PIL



from multiprocessing import Pool

from PIL import Image



SIZE = (75,75)

SAVE_DIRECTORY = 'thumbs'



def get_image_paths(folder):

   return (os.path.join(folder, f)

           for f in os.listdir(folder)

           if 'jpeg' in f)



def create_thumbnail(filename): 

   im = Image.open(filename)

   im.thumbnail(SIZE, Image.ANTIALIAS)

   base, fname = os.path.split(filename)

   save_path = os.path.join(base, SAVE_DIRECTORY, fname)

   im.save(save_path)



if __name__ == '__main__':

   folder = os.path.abspath(

       '11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840')

   os.mkdir(os.path.join(folder, SAVE_DIRECTORY))



   images = get_image_paths(folder)



   pool = Pool()

   pool.map(creat_thumbnail, images)

   pool.close()

   pool.join()

哈，看起來有些像 Java 不是嗎？

我并不是說使用生產(chǎn)者/消費者模型處理多線程/多進程任務(wù)是錯誤的（事實上，這一模型自有其用武之地）。只是，處理日常腳本任務(wù)時我們可以使用更有效率的模型。

問題在于…

首先，你需要一個樣板類； 
其次，你需要一個隊列來傳遞對象； 
而且，你還需要在通道兩端都構(gòu)建相應(yīng)的方法來協(xié)助其工作（如果需想要進行雙向通信或是保存結(jié)果還需要再引入一個隊列）。

worker 越多，問題越多

按照這一思路，你現(xiàn)在需要一個 worker 線程的線程池。下面是一篇 IBM 經(jīng)典教程中的例子——在進行網(wǎng)頁檢索時通過多線程進行加速。

#Example2.py

'''

A more realistic thread pool example

'''



import time

import threading

import Queue

import urllib2



class Consumer(threading.Thread): 

   def __init__(self, queue): 

       threading.Thread.__init__(self)

       self._queue = queue



   def run(self):

       while True:

           content = self._queue.get()

           if isinstance(content, str) and content == 'quit':

               break

           response = urllib2.urlopen(content)

       print 'Bye byes!'



def Producer():

   urls = [

       'http://www.python.org', 'http://www.yahoo.com'

       'http://www.scala.org', 'http://www.google.com'

       # etc..

   ]

   queue = Queue.Queue()

   worker_threads = build_worker_pool(queue, 4)

   start_time = time.time()



   # Add the urls to process

   for url in urls:

       queue.put(url)  

   # Add the poison pillv

   for worker in worker_threads:

       queue.put('quit')

   for worker in worker_threads:

       worker.join()



   print 'Done! Time taken: {}'.format(time.time() - start_time)



def build_worker_pool(queue, size):

   workers = []

   for _ in range(size):

       worker = Consumer(queue)

       worker.start()

       workers.append(worker)

   return workers



if __name__ == '__main__':

   Producer()

這段代碼能正確的運行，但仔細看看我們需要做些什么：構(gòu)造不同的方法、追蹤一系列的線程，還有為了解決惱人的死鎖問題，我們需要進行一系列的 join 操作。這還只是開始……

至此我們回顧了經(jīng)典的多線程教程，多少有些空洞不是嗎？樣板化而且易出錯，這樣事倍功半的風格顯然不那么適合日常使用，好在我們還有更好的方法。

何不試試 map

map 這一小巧精致的函數(shù)是簡捷實現(xiàn) Python 程序并行化的關(guān)鍵。map 源于 Lisp 這類函數(shù)式編程語言。它可以通過一個序列實現(xiàn)兩個函數(shù)之間的映射。

urls = ['http://www.yahoo.com', 'http://www.reddit.com']

results = map(urllib2.urlopen, urls)

上面的這兩行代碼將 urls 這一序列中的每個元素作為參數(shù)傳遞到 urlopen 方法中，并將所有結(jié)果保存到 results 這一列表中。其結(jié)果大致相當于：

results = []

for url in urls:

   results.append(urllib2.urlopen(url))

map 函數(shù)一手包辦了序列操作、參數(shù)傳遞和結(jié)果保存等一系列的操作。

為什么這很重要呢？這是因為借助正確的庫，map 可以輕松實現(xiàn)并行化操作。

Python實際案例演示：一行 Python代碼實現(xiàn)并行

網(wǎng)站題目：Python實際案例演示：一行Python代碼實現(xiàn)并行-創(chuàng)新互聯(lián)
標題路徑：http://muchs.cn/article4/dsgsie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、電子商務(wù)、品牌網(wǎng)站建設(shè)、網(wǎng)站設(shè)計公司、品牌網(wǎng)站設(shè)計、標簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

網(wǎng)站托管運營