如何利用python提高sql数据库的写入速度

Question

我试图找到一种更好的方法，使用python将数据推送到sqldb。我试过了 dataframe.to_sql()方法和cursor.fast_executemany() 但他们似乎并没有提高我现在处理的数据（数据在csv文件中）的速度。有人建议我可以使用命名元组和生成器比pandas加载数据快得多。在

[通常csv文件大小至少为1GB，推送一个文件大约需要10-17分钟]

我对python的很多概念都不太熟悉，所以请推荐一些方法，或者至少提供一个参考，任何一篇文章都可以显示任何信息。提前谢谢

Answer 1

如果您试图将csv按原样插入数据库（即，在pandas中不做任何处理），您可以使用python中的sqlalchemy执行“BULK insert[params，file，etc.]”。另外，我发现读取csv、处理、写入csv，然后批量插入也是一种选择。在

否则，请随意指定您想要完成的任务，在插入数据库之前如何处理数据，等等