怎樣用一行Python代碼實(shí)現(xiàn)并行-創(chuàng)新互聯(lián)

Python 在程序并行化方面多少有些聲名狼藉。撇開技術(shù)上的問題，例如線程的實(shí)現(xiàn)和 GIL，我覺得錯(cuò)誤的教學(xué)指導(dǎo)才是主要問題。常見的經(jīng)典 Python 多線程、多進(jìn)程教程多顯得偏"重"。而且往往隔靴搔癢，沒有深入探討日常工作中最有用的內(nèi)容。

創(chuàng)新互聯(lián)"三網(wǎng)合一"的企業(yè)建站思路。企業(yè)可建設(shè)擁有電腦版、微信版、手機(jī)版的企業(yè)網(wǎng)站。實(shí)現(xiàn)跨屏營銷，產(chǎn)品發(fā)布一步更新，電腦網(wǎng)絡(luò)+移動(dòng)網(wǎng)絡(luò)一網(wǎng)打盡，滿足企業(yè)的營銷需求！創(chuàng)新互聯(lián)具備承接各種類型的成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作、外貿(mào)網(wǎng)站建設(shè)項(xiàng)目的能力。經(jīng)過十載的努力的開拓，為不同行業(yè)的企事業(yè)單位提供了優(yōu)質(zhì)的服務(wù)，并獲得了客戶的一致好評。

傳統(tǒng)的例子

簡單搜索下"Python 多線程教程"，不難發(fā)現(xiàn)幾乎所有的教程都給出涉及類和隊(duì)列的例子：

import os

import PIL



from multiprocessing import Pool

from PIL import Image



SIZE = (
75,
75)

SAVE_DIRECTORY =  thumbs



def get_image_paths(folder):

   
return (
os.
path.join(folder, f)

           
for f 
in 
os.listdir(folder)

           
if  jpeg  
in f)



def create_thumbnail(filename): 

   im = Image.
open(filename)

   im.thumbnail(SIZE, Image.ANTIALIAS)

   base, fname = 
os.
path.split(filename)

   save_path = 
os.
path.join(base, SAVE_DIRECTORY, fname)

   im.save(save_path)




if __name__ ==  __main__ :

   folder = 
os.
path.abspath(

        
11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840 )

   
os.mkdir(
os.
path.join(folder, SAVE_DIRECTORY))



   images = get_image_paths(folder)



   pool = Pool()

   pool.map(creat_thumbnail, images)

   pool.
close()

   pool.join()

哈，看起來有些像 Java 不是嗎？

我并不是說使用生產(chǎn)者/消費(fèi)者模型處理多線程/多進(jìn)程任務(wù)是錯(cuò)誤的（事實(shí)上，這一模型自有其用武之地）。只是，處理日常腳本任務(wù)時(shí)我們可以使用更有效率的模型。

but...問題在于…

首先，你需要一個(gè)樣板類； 
其次，你需要一個(gè)隊(duì)列來傳遞對象； 
而且，你還需要在通道兩端都構(gòu)建相應(yīng)的方法來協(xié)助其工作（如果需想要進(jìn)行雙向通信或是保存結(jié)果還需要再引入一個(gè)隊(duì)列）。

worker 越多，問題越多

按照這一思路，你現(xiàn)在需要一個(gè) worker 線程的線程池。下面是一篇 IBM 經(jīng)典教程中的例子——在進(jìn)行網(wǎng)頁檢索時(shí)通過多線程進(jìn)行加速。

#Example2.py

  

A more realistic thread pool example

  



import time

import threading

import Queue

import urllib2



class Consumer(threading.Thread): 

   def __init__(
self, queue): 

       threading.Thread.__init__(
self)

       
self._queue = queue



   def run(
self):

       
while True:

           content = 
self._queue.get()

           
if isinstance(content, 
str) and content ==  quit :

               
break

           response = urllib2.urlopen(content)

       print  Bye byes!



def Producer():

   urls = [

        http:
//www.python.org ,  http://www.yahoo.com


         http://www.scala.org ,  http://www.google.com


        # etc..


    ]


    queue = Queue.Queue()


    worker_threads = build_worker_pool(queue, 4)


    start_time = time.time()




    # Add the urls to process


    for url in urls:


        queue.put(url)  


    # Add the poison pillv


    for worker in worker_threads:


        queue.put( quit )


    for worker in worker_threads:


        worker.join()




    print  Done! Time taken: {} .format(time.time() - start_time)




def build_worker_pool(queue, size):


    workers = []


    for _ in range(size):


        worker = Consumer(queue)


        worker.start()


        workers.append(worker)


    return workers




if __name__ ==  __main__ :


    Producer()

這段代碼能正確的運(yùn)行，但仔細(xì)看看我們需要做些什么：構(gòu)造不同的方法、追蹤一系列的線程，還有為了解決惱人的死鎖問題，我們需要進(jìn)行一系列的 join 操作。這還只是開始……

至此我們回顧了經(jīng)典的多線程教程，多少有些空洞不是嗎？樣板化而且易出錯(cuò)，這樣事倍功半的風(fēng)格顯然不那么適合日常使用，好在我們還有更好的方法。

試試 map？

map 這一小巧精致的函數(shù)是簡捷實(shí)現(xiàn) Python 程序并行化的關(guān)鍵。map 源于 Lisp 這類函數(shù)式編程語言。它可以通過一個(gè)序列實(shí)現(xiàn)兩個(gè)函數(shù)之間的映射。

    
urls = [ http://www.yahoo.com ,  http://www.reddit.com ]

   results = map(urllib2.urlopen, urls)

上面的這兩行代碼將 urls 這一序列中的每個(gè)元素作為參數(shù)傳遞到 urlopen 方法中，并將所有結(jié)果保存到 results 這一列表中。其結(jié)果大致相當(dāng)于：


results = []

for url in urls:

   results.append(urllib2.urlopen(url))

map 函數(shù)一手包辦了序列操作、參數(shù)傳遞和結(jié)果保存等一系列的操作。

為什么這很重要呢？這是因?yàn)榻柚_的庫，map 可以輕松實(shí)現(xiàn)并行化操作。

怎樣用一行 Python 代碼實(shí)現(xiàn)并行

網(wǎng)頁標(biāo)題：怎樣用一行Python代碼實(shí)現(xiàn)并行-創(chuàng)新互聯(lián)
URL鏈接：http://www.muchs.cn/article40/iheho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、網(wǎng)站建設(shè)、面包屑導(dǎo)航、小程序開發(fā)、域名注冊、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

微信小程序開發(fā)