如何将大数据集写入xls文件?

8 投票
3 回答
6868 浏览
提问于 2025-04-17 15:06

我有一个非常大的数据库,想把它写成xlsx/xls文件。我之前试过用xlwt,但是它只能写65536行(我的一些表格有超过72000行)。我还发现了openpyxl,但它处理大表格时速度太慢,而且占用的内存也很大。有没有其他方法可以写Excel文件呢?

补充说明:根据kennym的建议,我使用了优化过的读写器。现在它占用的内存少了,但还是很耗时间。导出一个非常大的表格(最多有100万行)现在需要超过一个小时。还有其他方法吗?也许可以直接把整个HDF5数据库文件导出到Excel,而不是像现在这样一行一行地导出?

3 个回答

1

XlsxWriter对我来说很好用。我试过openpyxl,但出现了错误。我的数据有22,000行和400列。

3

使用openpyxl这个包里的优化读取和写入功能。这个优化的读取和写入功能比标准的openpyxl方法运行得快很多,而且占用的内存也少得多。

4

试试在常量内存模式下使用 XlsxWriter

至于 .xls 文件,我担心没有优化内存的方法。你找到过吗?

撰写回答