关于 Python 导出 excel 快慢的问题

 def convert_list(li, datetime_format=consts.china_full_datetime_format, zone_name=consts.default_zone_name): out = [] for ele in li: out.append(ele.to_json(datetime_format, zone_name=zone_name, request_handler=None)) return out def body_producer(page_size=1000): chunk = [] for ele in query_result: chunk.append(ele) if len(chunk) > page_size: yield from convert_list(chunk) chunk = [] if chunk: yield from convert_list(chunk) /code>

 profile结果
  35238157 function calls (35232213 primitive calls) in 51.559 seconds Ordered by: cumulative time ncalls tottime percall cumtime percall filename:lineno(function) 324/1 0.025 0.000 51.559 51.559 {built-in method builtins.exec} 1 1.124 1.124 51.559 51.559 tmp.py:16(<module>) 39631 0.113 0.000 27.180 0.001 tmp.py:37(body_producer) 594465 0.856 0.000 15.790 0.000 Worksheet.py:1035(write) 594465 3.486 0.000 14.142 0.000 Row.py:228(write) 1 0.000 0.000 11.857 11.857 peewee.py:6729(__iter__) 1 0.000 0.000 11.857 11.857 peewee.py:1839(inner) 1 0.000 0.000 11.857 11.857 peewee.py:1914(execute) 1 0.000 0.000 11.857 11.857 peewee.py:2085(_execute) 1 0.000 0.000 11.857 11.857 peewee.py:3067(execute) 
 看样子是是因为peewee的问题，但是感觉xlwt还是慢呀

  
    
 
 
  
 导出
 EXCEL
 整除
 Python
26 条回复    2020-03-03 10:00:12 +08:00 
           1
 
 suotm   
   2020 年 2 月 2 日 
 导出成 CSV，然后用 excel 导入？
  
 
 
           2
 
 superrichman   
   2020 年 2 月 2 日 via iPhone 
 帖代码出来，看你怎么写的
  
 
 
           3
 
 simple2025   OP
   2020 年 2 月 2 日 
 @superrichman 一般导出 4w 条，要多久？
  
 
 
           4
 
 dlsflh   
   2020 年 2 月 2 日 via Android    1 
 贴代码吧，我一般用 pandas 做。
  
 
 
           5
 
 jjx   
   2020 年 2 月 2 日    1 
 以前测算过, 具体数字我忘了, 是很慢

换 openpxy writeonly 模式

pypy 能明显提速

性能比起 go 等静态语言来完全不能比
  
 
 
     
           6
 
 jjx   
   2020 年 2 月 2 日    1 
 @jjx openpyxl 打错了
    
           7
 
 1462326016   
   2020 年 2 月 2 日 
 我觉得，问题应该修改为 使用 xlwt 导出 excel 慢
  
 
 
           8
 
 wuwukai007   
   2020 年 2 月 2 日 via Android    1 
 pandas 底层用的还是 xlwt,用 openpyxl
  
 
 
           9
 
 alpha2016   
   2020 年 2 月 2 日    1 
 按一楼说的，写 csv 然后倒入 excel 呢
  
 
 
           10
 
 simple2025   OP
   2020 年 2 月 2 日 
 @alpha2016 这个怎么做？
  
 
 
           11
 
 xiaoxinxiaobai   
   2020 年 2 月 2 日 via Android 
 起码分两个部分分析，数据转换耗时，数据写 excel 耗时，或者 profile 跑一下 看看哪部分最耗时
  
 
 
           12
 
 simple2025   OP
   2020 年 2 月 2 日 
 @xiaoxinxiaobai 这种网站的怎么 profile 呀，脚本我倒是会 profile
  
 
 
           13
 
 renmu   
   2020 年 2 月 2 日 via Android 
 pandas read_sql （） 然后直接 to_excel，应该最方便了
  
 
 
           14
 
 ebingtel   
   2020 年 2 月 2 日 
 边查询、边返回吧……同样慢,但是会缩短 TTFT 用户体验会好
  
 
 
           15
 
 simple2025   OP
   2020 年 2 月 2 日 
 @renmu 关键我有一些转换的呀
  
 
 
           16
 
 so1n   
   2020 年 2 月 2 日 via Android 
 导 csv 再放入 excel 最好，速度快，占内存低……
  
 
 
           17
 
 youthfire   
   2020 年 2 月 2 日 
 用 pandas+sqlite。我这边一个 32mb，40 万行，作查询和简单处理，基本都是在 2 秒内。当然索引肯定得做。上面有朋友说 pandas 是调用 engine，实际不如直接用 openpyxl，这个结论我亲测过，未必是这样，你可以自己试试。
  
 
 
           18
 
 zwy100e72   
   2020 年 2 月 2 日 
 建议楼主拿出 Pycharm，跑一次 profile 性能测试，你就能更好的评估 40s 究竟花在了什么地方
有了相关数据才好决策到底是要换什么
  
 
 
           19
 
 xiaoxinxiaobai   
   2020 年 2 月 2 日 via Android 
 我理解这是个接口调用？在接口代码里添加些 profile 代码，保存结果到文件然后分析下，可以搜一些例子
  
 
 
           20
 
 mituxiaomanong   
   2020 年 2 月 3 日 via Android 
 一般几十万数据几秒就可以了，检查数据查询部分和构建 excel 部分循环是否有多余代码
  
 
 
     
           21
 
 simple2025   OP
   2020 年 2 月 3 日 via Android 
 接口里面这种怎么做？
  
 
 
           22
 
 jinliming2   
   2020 年 2 月 3 日 via iPhone    1 
 @chenqh 你如果不知道接口里怎么做的话，你可以单独写个脚本，只保留查询、转换并导出 excel 的代码，然后单独分析这一个脚本
  
 
 
           23
 
 simple2025   OP
   2020 年 2 月 3 日 via Android 
 @jinliming2 我试一试
  
 
 
           24
 
 wuwukai007   
   2020 年 2 月 4 日 
 读个 4w 条数据要十几秒，是远程数据库把，还是那种限速的那种？
  
 
 
           25
 
 simple2025   OP
   2020 年 2 月 5 日 via Android 
 @wuwukai007 本地，虚拟机的，程序也在虚拟机里面
  
 
 
           26
 
 15399905591   
   2020 年 3 月 3 日 
 我也碰到了这个问题， 使用 xlwt 写入 xls 文件非常慢，我使用的方法是使用 open 写入 csv，这样快很多，如果楼主找到了更好的解决办法，也发出来一下呗。