解决python执行较大excel文件openpyxl慢问题
作者:Pcject 发布时间:2021-06-25 15:58:04
我就废话不多说了,大家还是直接看代码吧!
talk is cheap
from openpyxl import Workbook
from openpyxl.utils import get_column_letter
from openpyxl import load_workbook
import time
wb = load_workbook("E:/a.xlsx", read_only=True)
sh = wb["Sheet"]
# rowItem = {}
# for j in range(1,2000):
# for i in range(1, 30):
# rowItem[get_column_letter(i)] = i
# sh.append(rowItem)
# wb.save("E:/a.xlsx")
t0 = time.time()
print(sh['V500'].value)
t1 = time.time()
print("openpyxl所用时间:", str(t1-t0))
import xlrd
xlsPath = "E:/a.xlsx"
WorkBook = xlrd.open_workbook(xlsPath)
sh = WorkBook.sheet_by_name("Sheet")
t0 = time.time()
print(sh.cell(499,22).value)
t1 = time.time()
print("xlrd所用时间:", str(t1-t0))
测试结果:
22
openpyxl所用时间: 0.44217610359191895
23.0
xlrd所用时间: 0.0010063648223876953
结论
openpyxl的慢是读取慢,可以选择xlrd代替,详细测试下面继续
不直接使用xlwt+xlrd是因为xlwt仅支持2003及以下版本,最大行数限制在65536,不够用,而openpyxl大概在一百多万
主要的说完了,下面详细说了:在写工具的时候遇到的这个问题,开始是用的xlwt+xlrd,然后行数超标了,没办法换成openpyxl使用excel2007的版本,原本测试不到三万行的数据,只要三四秒,换成openpyxl以后,花了好几分钟,具体没看多少了,然后加上函数运行时间的监视器以后,才看到是读取的时候出的问题
推测原因:
推测的话,openpyxl的根据行号列号读取的时候,是从第一行第一列开始遍历,直到行号等于指定行号,列号等于指定列号,所以要读取的行号列号越多就越慢,(也可能是从第一个有数据的行或列),而xlrd则是类似与数组一样,我们要取第几个元素,直接根据下标找到内存中对应地址的元素即可,所以无论excel总量多少,速度基本都是不变的
留下的坑
xlwt写入仅支持65536行,那xlrd的读取很可能也是,也就是超过这么多的数据可能也会出错
我这里因为是读多表数据生成单表数据,生成方式大概是Na*Nb这样,所以实际读取的不会太多,但生成的很多,所以基本可以用考虑这个问题
另外,据说xlrd读取xlsx格式的偶尔会出现问题,具体没测试,暂时用还没毛病
最后,顺带上一下监控函数运行时间的装饰器吧:
import time
from functools import wraps
def fn_timer(function):
@wraps(function)
def function_timer(*args, **kwargs):
t0 = time.time()
result = function(*args, **kwargs)
t1 = time.time()
print ("Total time running %s: %s seconds" %
(function.__name__, str(t1-t0))
)
return result
return function_timer
使用方式的话,就是在要监控的函数定义上面加上 @fn_timer 就行了
来源:https://blog.csdn.net/J_Object/article/details/79726993
猜你喜欢
- 缓存是指可以进行高速数据交换的存储器,它先于内存与CPU交换数据,因此速度很快。缓存就是把一些数据暂时存放于某些地方,可能是内存,也有可能硬
- 大家好,我是辣条。辣条的一个朋友最近跟我诉苦:女朋友沉迷淘宝抢购无法自拔,大晚上不睡觉都在定时抢购,真是败家。都是好朋友辣条肯定帮忙,不就是
- 众所周知,Python开发框架大大减少了开发者不必要的重复劳动,提高了项目开发效率的同时,还使得创建的程序更加稳定。目前比较主流的Pytho
- 具体代码如下所示:#coding=utf-8__author__ = 'Eagle'import osimport time
- 使用os.remove删除文件,总是遇到错误:PermissionError: WinError找了很久没找到什么原因,以为是windows
- 前言今晚就是新年夜啦,为了 刷一波存在感 送出我的祝福,同时让它看起来不像群发消息,我们简单地用三步来实现定制QQ祝福~
- 将数据库中的信息存储至XML文件中:save.asp<!-- #include file="adovbs
- 网站设计似乎朝着越来越复杂的方向发展。这部分源于显示器的逐步增大,随着宽屏显示器的增多,更有加剧网站页面复杂程度的趋势。但是我接触网站设计近
- 一、标签语法由%}和 {% 来定义的,例如:{%tag%} {%endtag%},完整的标签有开始就有结束,如条件语句,有条件判断的开始,也
- 通过python的os模块获取windows或者linux主机名的通用函数。#!/usr/bin/env python #cod
- 首先感谢比尔、感谢微软、感谢MSDN,是他们让我看到他们富有创意的一面,好了好了不废话了。我们经常把多个CSS或者多个JS并成一个,以节省请
- 1. 数据抽取的概念2. 数据的分类3. JSON数据概述及解析3.1 JSON数据格式3.2 解析库jsonjson模块是Python内置
- 这篇文章主要介绍了python plotly画柱状图代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需
- 对于一个给定的字符串,逆序输出,这个任务对于python来说是一种很简单的操作,毕竟强大的列表和字符串处理的一些列函数足以应付这些问题 了,
- 目录前言1. 准备工作2. 连接MongoDB3. 指定数据库4. 指定集合5. 插入数据6. 查询7. 计数8. 排序9. 偏移10. 更
- 1 案例描述输入三个整数x,y,z,请把这三个数由小到大输出。2 Python实现2.1 方法一(官方)L = []for i in ran
- 网上看到一个python写的数独,很好玩,分享给大家。import randomimport itertoolsfrom copy impo
- 上一篇 我们学习了简单的Python TCP Socket 编程,通过分别写服务端和客户端的代码了解基本的 Python Socket 编程
- 最近做了一个项目,其中有项目需求涉及到手机号验证码,就是当用户点击获取验证码之后我们会发送一条信息到用户手机,然后就会出现一个倒计时按钮,很
- 自定义求导:(近似求导数的方法)让x向左移动eps得到一个点,向右移动eps得到一个点,这两个点形成一条直线,这个点的斜率就是x这个位置的近