知乎上有同学求助说,当他试图打开一个20M左右的excel文件时,无论是使用pandas的read_excel,还是直接使用xlrd或者openpyxl模块,速度都慢到无法忍受的程度,耗时大约1分钟左右。
真的会这样吗?第一感觉是,这位同学在使用openpyxl模块时没有设置只读模式。为便于测试,先用下面的代码生成一个一百万行数据的excel文件。
> from openpyxl import Workbook > wb = Workbook() > sh = wb.active > sh.append(['id', '语文', '数学', '英语', '物理']) > for i in range(1000000): # 写入100万行数据 sh.append([i+1, 90, 100, 95, 99]) > wb.save(r'd:\bigxlsx.xlsx') > import os > os.path.getsize(r'd:\bigxlsx.xlsx') # 文件大小:20M字节 20230528
接下来定义了一个使用openpyxl模块打开文件的函数,分别考察关闭和开启只读模式的时间消耗。
> from openpyxl import load_workbook > import time > def read_xlsx(read_only): t0 = time.time() wb = load_workbook(r'd:\bigxlsx.xlsx', read_only=read_only) t1 = time.time() print(wb.sheetnames) print(sh.cell(row=1, column=1).value) print(sh.cell(row=100, column=3).value) print('耗时%0.3f秒钟'%(t1-t0)) > read_xlsx(True) ['Sheet'] id 100 耗时0.404秒钟 > read_xlsx(False) ['Sheet'] id 100 耗时67.817秒钟
运行测试,果然,不开启只读的话,真的需要1分多钟,而使用只读模式的话,则仅需0.4秒钟。
不过,也别高兴得太早,openpyxl模块并没有提供像pandas.read_excel()那样把全部数据读入一个数据结构的功能,只能定位到行、列或格子以后再读取数据。要想使用openpyxl模块把全部数据读入到数组或DataFrame中,需要遍历所有的行和列,这仍然是一个非常耗时的操作。
那么,pandas.read_excel()是否也支持只读模式呢?遗憾的是,read_excel()并没有类似read_only这样的参数。尽管read_excel()可以接受文件路径、文件对象、类文件对象,甚至是二进制数据,但即使将文件内容传入,read_excel()解析这100万行数据仍然需要大约80秒钟。下面的代码验证了这一点。
> import pandas as pd > def read_excel_by_pandas(): with open(r'd:\bigxlsx.xlsx', 'rb') as fp: content = fp.read() t0 = time.time() df = pd.read_excel(content, engine='openpyxl') t1 = time.time() print(df.head()) print(df.tail()) print('耗时%0.3f秒钟'%(t1-t0)) > read_excel_by_pandas() id 语文 数学 英语 物理 0 1 90 100 95 99 1 2 90 100 95 99 2 3 90 100 95 99 3 4 90 100 95 99 4 5 90 100 95 99 id 语文 数学 英语 物理 999995 999996 90 100 95 99 999996 999997 90 100 95 99 999997 999998 90 100 95 99 999998 999999 90 100 95 99 999999 1000000 90 100 95 99 耗时81.369秒钟
结论:处理超大的Excel文件时,使用openpyxl模块的只读模式,可以快速打开并取得指定格子的数据,但不要尝试将全部数据读入到自己定义的数据结构中,这将花费漫长的时间。对此,pandas也无能为力。
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]