python怎么實現單機處理大文件

本篇內容介紹了“python怎么實現單機處理大文件”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

站在用戶的角度思考問題，與客戶深入溝通，找到邛崍網站設計與邛崍網站推廣的解決方案，憑借多年的經驗，讓設計與互聯網技術結合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：成都網站制作、做網站、外貿營銷網站建設、企業(yè)官網、英文網站、手機端網站、網站推廣、域名注冊、雅安服務器托管、企業(yè)郵箱。業(yè)務覆蓋邛崍地區(qū)。

下面的討論基于的假定：可以單獨處理一行數據，行間數據相關性為零。

方法一：

僅使用 Python 內置模板，逐行讀取到內存。

使用 yield，好處是解耦讀取操作和處理操作：

def python_read(filename):
   with open(filename,'r',encoding='utf-8') as f:
       while  True:
           line = f.readline()
           if not line:
               return
           yield line
 

以上每次讀取一行，逐行迭代，逐行處理數據

if __name__ == '__main__':
   g = python_read('./data/movies.dat')
   for c in g:
       print(c)
       # process c
 

方法二：

方法一有缺點，逐行讀入，頻繁的 IO 操作拖累處理效率。是否有一次 IO ，讀取多行的方法？

pandas 包 read_csv 函數，參數有 38 個之多，功能非常強大。

關于單機處理大文件，read_csv 的 chunksize 參數能做到，它被設置為 5， 意味著一次讀取 5 行。

def pandas_read(filename,sep=',',chunksize=5):
   reader = pd.read_csv(filename,sep,chunksize=chunksize)
   while  True:
       try:
           yield reader.get_chunk()
       except StopIteration:
           print('---Done---')
           break
 

使用如同方法一：

if __name__ == '__main__':
   g = pandas_read('./data/movies.dat',sep="::")
   for c in g:
       print(c)
       # process c

“python怎么實現單機處理大文件”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯網站，小編將為大家輸出更多高質量的實用文章！

網頁標題：python怎么實現單機處理大文件
文章URL：http://muchs.cn/article4/gdssie.html

成都網站建設公司_創(chuàng)新互聯，為您提供App開發(fā)、微信公眾號、定制開發(fā)、外貿網站建設、商城網站、App設計

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯

成都網站建設公司