跨Django数据库移动大型数据集

Question

将大型数据集从一个django数据库移动到另一个数据库的最佳方法是什么？在

我希望在高级别（在django中）执行此操作，而不是在数据库级别。我所知道的所有现有工具（dumpdata/loaddata、serializer类、django扩展）都在内存中，因此它不能处理大型数据集。在

Answer 1

我对几个应用程序/数据库也有同样的问题，所以编写了这个脚本，它是django的dumpdata的一个分支，但是将数据分块转储以避免内存错误

脚本在https://github.com/fastinetserver/django-dumpdata-chunks上可用

用法示例：

1）将数据转储到多个文件中：

mkdir some-folder

./manage.py dumpdata_chunks your-app-name
 output-folder=./some-folder  max-records-per-chunk=100000

2）从文件夹加载数据：

^{pr2}$

Answer 2

我发现这篇文章很有用-Migrating Django from MySQL to PostgreSQL the Easy Way。在