如何使用Python快速打開一個(gè)百萬行級(jí)別的超大Excel文件-創(chuàng)新互聯(lián)

小編給大家分享一下如何使用Python快速打開一個(gè)百萬行級(jí)別的超大Excel文件，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

創(chuàng)新互聯(lián)建站專注于利通網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供利通營銷型網(wǎng)站建設(shè)，利通網(wǎng)站制作、利通網(wǎng)頁設(shè)計(jì)、利通網(wǎng)站官網(wǎng)定制、成都小程序開發(fā)服務(wù)，打造利通網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供利通網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

有同學(xué)求助說，當(dāng)他試圖打開一個(gè)20M左右的excel文件時(shí)，無論是使用pandas的read_excel，還是直接使用xlrd或者openpyxl模塊，速度都慢到無法忍受的程度，耗時(shí)大約1分鐘左右。

真的會(huì)這樣嗎？第一感覺是，這位同學(xué)在使用openpyxl模塊時(shí)沒有設(shè)置只讀模式。為便于測試，先用下面的代碼生成一個(gè)一百萬行數(shù)據(jù)的excel文件。

>>> from openpyxl import Workbook
>>> wb = Workbook()
>>> sh = wb.active
>>> sh.append(['id', '語文', '數(shù)學(xué)', '英語', '物理'])
>>> for i in range(1000000): # 寫入100萬行數(shù)據(jù)
	sh.append([i+1, 90, 100, 95, 99])

	
>>> wb.save(r'd:\bigxlsx.xlsx')
>>> import os
>>> os.path.getsize(r'd:\bigxlsx.xlsx') # 文件大小：20M字節(jié)
20230528

接下來定義了一個(gè)使用openpyxl模塊打開文件的函數(shù)，分別考察關(guān)閉和開啟只讀模式的時(shí)間消耗。

>>> from openpyxl import load_workbook
>>> import time
>>> def read_xlsx(read_only):
	t0 = time.time()
	wb = load_workbook(r'd:\bigxlsx.xlsx', read_only=read_only)
	t1 = time.time()
	print(wb.sheetnames)
	print(sh.cell(row=1, column=1).value)
	print(sh.cell(row=100, column=3).value)
	print('耗時(shí)%0.3f秒鐘'%(t1-t0))

	
>>> read_xlsx(True)
['Sheet']
id
100
耗時(shí)0.404秒鐘
>>> read_xlsx(False)
['Sheet']
id
100
耗時(shí)67.817秒鐘

運(yùn)行測試，果然，不開啟只讀的話，真的需要1分多鐘，而使用只讀模式的話，則僅需0.4秒鐘。

不過，也別高興得太早，openpyxl模塊并沒有提供像pandas.read_excel()那樣把全部數(shù)據(jù)讀入一個(gè)數(shù)據(jù)結(jié)構(gòu)的功能，只能定位到行、列或格子以后再讀取數(shù)據(jù)。要想使用openpyxl模塊把全部數(shù)據(jù)讀入到數(shù)組或DataFrame中，需要遍歷所有的行和列，這仍然是一個(gè)非常耗時(shí)的操作。

那么，pandas.read_excel()是否也支持只讀模式呢？遺憾的是，read_excel()并沒有類似read_only這樣的參數(shù)。盡管read_excel()可以接受文件路徑、文件對(duì)象、類文件對(duì)象，甚至是二進(jìn)制數(shù)據(jù)，但即使將文件內(nèi)容傳入，read_excel()解析這100萬行數(shù)據(jù)仍然需要大約80秒鐘。下面的代碼驗(yàn)證了這一點(diǎn)。

>>> import pandas as pd
>>> def read_excel_by_pandas():	
	with open(r'd:\bigxlsx.xlsx', 'rb') as fp:
		content = fp.read()
		t0 = time.time()
		df = pd.read_excel(content, engine='openpyxl')
		t1 = time.time()
	print(df.head())
	print(df.tail())
	print('耗時(shí)%0.3f秒鐘'%(t1-t0))

	
>>> read_excel_by_pandas()
  id 語文  數(shù)學(xué) 英語 物理
0  1 90 100 95 99
1  2 90 100 95 99
2  3 90 100 95 99
3  4 90 100 95 99
4  5 90 100 95 99
       id 語文  數(shù)學(xué) 英語 物理
999995  999996 90 100 95 99
999996  999997 90 100 95 99
999997  999998 90 100 95 99
999998  999999 90 100 95 99
999999 1000000 90 100 95 99
耗時(shí)81.369秒鐘

結(jié)論：處理超大的Excel文件時(shí)，使用openpyxl模塊的只讀模式，可以快速打開并取得指定格子的數(shù)據(jù)，但不要嘗試將全部數(shù)據(jù)讀入到自己定義的數(shù)據(jù)結(jié)構(gòu)中，這將花費(fèi)漫長的時(shí)間。對(duì)此，pandas也無能為力。

看完了這篇文章，相信你對(duì)“如何使用Python快速打開一個(gè)百萬行級(jí)別的超大Excel文件”有了一定的了解，如果想了解更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

網(wǎng)站欄目：如何使用Python快速打開一個(gè)百萬行級(jí)別的超大Excel文件-創(chuàng)新互聯(lián)
本文來源：http://muchs.cn/article0/dchioo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、動(dòng)態(tài)網(wǎng)站、靜態(tài)網(wǎng)站、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站改版、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)