如何将大数据集写入xls文件?
我有一个非常大的数据库,想把它写成xlsx/xls文件。我之前试过用xlwt,但是它只能写65536行(我的一些表格有超过72000行)。我还发现了openpyxl,但它处理大表格时速度太慢,而且占用的内存也很大。有没有其他方法可以写Excel文件呢?
补充说明:根据kennym的建议,我使用了优化过的读写器。现在它占用的内存少了,但还是很耗时间。导出一个非常大的表格(最多有100万行)现在需要超过一个小时。还有其他方法吗?也许可以直接把整个HDF5数据库文件导出到Excel,而不是像现在这样一行一行地导出?
3 个回答
1
XlsxWriter对我来说很好用。我试过openpyxl,但出现了错误。我的数据有22,000行和400列。
3
使用openpyxl这个包里的优化读取和写入功能。这个优化的读取和写入功能比标准的openpyxl方法运行得快很多,而且占用的内存也少得多。
4
试试在常量内存模式下使用 XlsxWriter。
- 这个方法只适用于写入 Excel 2007 的 xlsx/xlsm 文件。
- 它的速度比 Openpyxl 快很多。
- 提供常量内存模式,详细信息可以查看这里:http://xlsxwriter.readthedocs.org/working_with_memory.html
至于 .xls 文件,我担心没有优化内存的方法。你找到过吗?