python中如何提高頻繁寫入文件的速度-創(chuàng)新互聯(lián)

這篇文章主要介紹python中如何提高頻繁寫入文件的速度，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務領域包括：網站設計制作、網站設計、企業(yè)官網、英文網站、手機端網站、網站推廣等服務，滿足客戶于互聯(lián)網時代的鐵山港網站設計、移動媒體設計的需求，幫助企業(yè)找到有效的互聯(lián)網解決方案。努力成為您成熟可靠的網絡建設合作伙伴！

問題背景：有一批需要處理的文件，對于每一個文件，都需要調用同一個函數(shù)進行處理，相當耗時。

有沒有加速的辦法呢？當然有啦，比如說你將這些文件分成若干批，每一個批次都調用自己寫的python腳本進行處理，這樣同時運行若干個python程序也可以進行加速。

有沒有更簡單的方法呢？比如說，我一個運行的一個程序里面，同時分為多個線程，然后進行處理？

大概思路:將這些個文件路徑的list，分成若干個，至于分成多少，要看自己cpu核心有多少，比如你的cpu有32核的，理論上就可以加速32倍。

代碼如下：

# -*-coding:utf-8-*-

import numpy as np

from glob import glob

import math

import os

import torch

from tqdm import tqdm

import multiprocessing

label_path = '/home/ying/data/shiyongjie/distortion_datasets/new_distortion_dataset/train/label.txt'

file_path = '/home/ying/data/shiyongjie/distortion_datasets/new_distortion_dataset/train/distortion_image'

save_path = '/home/ying/data/shiyongjie/distortion_datasets/new_distortion_dataset/train/flow_field'

r_d_max = 128

image_index = 0

txt_file = open(label_path)

file_list = txt_file.readlines()

txt_file.close()

file_label = {}

for i in file_list:

  i = i.split()

  file_label[i[0]] = i[1]

r_d_max = 128

eps = 1e-32

H = 256

W = 256

def generate_flow_field(image_list):

  for image_file_path in ((image_list)):

    pixel_flow = np.zeros(shape=tuple([256, 256, 2])) # 按照pytorch中的grid來寫

    image_file_name = os.path.basename(image_file_path)

    # print(image_file_name)

    k = float(file_label[image_file_name])*(-1)*1e-7

    # print(k)

    r_u_max = r_d_max/(1+k*r_d_max**2) # 計算出畸變校正之后的對角線的理論長度

    scale = r_u_max/128 # 將這個長度壓縮到256的尺寸，會有一個scale，實際上這里寫128*sqrt(2)可能會更加直觀

    for i_u in range(256):

      for j_u in range(256):

        x_u = float(i_u - 128)

        y_u = float(128 - j_u)

        theta = math.atan2(y_u, x_u)

        r = math.sqrt(x_u ** 2 + y_u ** 2)

        r = r * scale # 實際上得到的r，即沒有resize到256×256的圖像尺寸size，并且?guī)牍街?
        r_d = (1.0 - math.sqrt(1 - 4.0 * k * r ** 2)) / (2 * k * r + eps) # 對應在原圖（畸變圖）中的r

        x_d = int(round(r_d * math.cos(theta)))

        y_d = int(round(r_d * math.sin(theta)))

        i_d = int(x_d + W / 2.0)

        j_d = int(H / 2.0 - y_d)

        if i_d < W and i_d >= 0 and j_d < H and j_d >= 0: # 只有求的的畸變點在原圖中的時候才進行賦值

          value1 = (i_d - 128.0)/128.0

          value2 = (j_d - 128.0)/128.0

          pixel_flow[j_u, i_u, 0] = value1 # mesh中存儲的是對應的r的比值，在進行畸變校正的時候，給定一張這樣的圖，進行找像素即可

          pixel_flow[j_u, i_u, 1] = value2

# 保存成array格式

    saved_image_file_path = os.path.join(save_path, image_file_name.split('.')[0] + '.npy')

    pixel_flow = pixel_flow.astype('f2') # 將數(shù)據(jù)的格式轉換成float16類型， 節(jié)省空間

    # print(saved_image_file_path)

    # print(pixel_flow)

    np.save(saved_image_file_path, pixel_flow)

  return

if __name__ == '__main__':

  file_list = glob(file_path + '/*.JPEG')

  m = 32

  n = int(math.ceil(len(file_list) / float(m))) # 向上取整

  result = []

  pool = multiprocessing.Pool(processes=m) # 32進程

  for i in range(0, len(file_list), n):

    result.append(pool.apply_async(generate_flow_field, (file_list[i: i+n],)))

  pool.close()

  pool.join()

在上面的代碼中，函數(shù)

generate_flow_field(image_list)

需要傳入一個list，然后對于這個list進行操作，之后對操作的結果進行保存

所以，只需要將你需要處理的多個文件，切分成盡量等大小的list，然后再對每一個list，開一個線程進行處理即可

上面的主函數(shù)：

if __name__ == '__main__':

  file_list = glob(file_path + '/*.JPEG') # 將文件夾下所有的JPEG文件列成一個list

  m = 32 # 假設CPU有32個核心

  n = int(math.ceil(len(file_list) / float(m))) # 每一個核心需要處理的list的數(shù)目

  result = []

  pool = multiprocessing.Pool(processes=m) # 開32線程的線程池

  for i in range(0, len(file_list), n):

    result.append(pool.apply_async(generate_flow_field, (file_list[i: i+n],))) # 對每一個list都用上面我們定義的函數(shù)進行處理

  pool.close() # 處理結束之后，關閉線程池

  pool.join()

主要是這樣的兩行代碼，一行是

pool = multiprocessing.Pool(processes=m) # 開32線程的線程池

用來開辟線程池

另外一行是

result.append(pool.apply_async(generate_flow_field, (file_list[i: i+n],))) # 對每一個list都用上面我們定義的函數(shù)進行處理

對于線程池，用apply_async()同時跑generate_flow_field這個函數(shù)，傳入的參數(shù)是：file_list[i: i+n]

實際上apply_async()這個函數(shù)的作用是所有的線程同時跑，速度是比較快的。

擴展：

Python文件處理之文件寫入方式與寫緩存來提高速度和效率

Python的open的寫入方式有：

write(str):將str寫入文件

writelines(sequence of strings):寫多行到文件，參數(shù)為可迭代對象

f = open('blogCblog.txt', 'w') #首先先創(chuàng)建一個文件對象，打開方式為w
f.writelines('123456') #用readlines()方法寫入文件

運行上面結果之后，可以看到blogCblog.txt文件有123456內容，這里需要注意的是，mode為‘w'模式(寫模式)，再來看下面代碼：

f = open('blogCblog.txt', 'w') #首先先創(chuàng)建一個文件對象，打開方式為w
f.writelines(123456) #用readlines()方法寫入文件

運行上面代碼之后會報一個TypeError，這是因為writelines傳入的參數(shù)并不是一個可迭代的對象。

以上是“python中如何提高頻繁寫入文件的速度”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注創(chuàng)新互聯(lián)成都網站設計公司行業(yè)資訊頻道！

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

文章標題：python中如何提高頻繁寫入文件的速度-創(chuàng)新互聯(lián)
文章分享：http://muchs.cn/article38/csjipp.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、云服務器、軟件開發(fā)、網站營銷、手機網站建設、網站設計

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)

網站優(yōu)化排名