如何利用python提高sql数据库的写入速度

用户

我试图找到一种更好的方法,使用python将数据推送到sqldb。我试过了 dataframe.to_sql()方法和cursor.fast_executemany() 但他们似乎并没有提高我现在处理的数据(数据在csv文件中)的速度。有人建议我可以使用命名元组生成器比pandas加载数据快得多。在

[通常csv文件大小至少为1GB,推送一个文件大约需要10-17分钟]

我对python的很多概念都不太熟悉,所以请推荐一些方法,或者至少提供一个参考,任何一篇文章都可以显示任何信息。提前谢谢


已被浏览了3618次
更新日期: 2020-10-22 22:16:24
1 个回答
fefe Tyson

如果您试图将csv按原样插入数据库(即,在pandas中不做任何处理),您可以使用python中的sqlalchemy执行“BULK insert[params,file,etc.]”。另外,我发现读取csv、处理、写入csv,然后批量插入也是一种选择。在

否则,请随意指定您想要完成的任务,在插入数据库之前如何处理数据,等等

评论 - 2020年9月22日 13:38

最新Python问答

推荐Python问答