有没有方法优化大型数据集在Django中的快速加载？

Question

我有一个模型，里面有超过600万个对象，每次我在管理页面访问这些对象时，加载速度都非常慢，有时候甚至会超时。而在我的视图中也是同样的情况。所以我想请教一下，有没有什么推荐的方法可以解决这个问题。这个项目是托管在AWS的弹性云环境中。

数据库的配置已经附在帖子里。

提前感谢大家的帮助！

数据库配置 数据库对象

我已经增加了数据库的资源，但情况还是没有改善。

从 db.t2.medium 升级到 db.t3.medium。

Answer 1

一开始就应该做的一个重要步骤，就是在你的API中使用分页功能。这是因为你的模型可能包含大量记录，而分页可以帮助你更好地管理和显示这些数据。

Answer 2

Django Admin的分页速度慢

Django的管理界面在处理大数据集时可能会出现性能问题。这是因为它通常需要运行一个COUNT查询来确定表中记录的总数，而对于数百万条记录来说，这个过程会很慢。

找出瓶颈

要找出问题所在，你可以：

1. 在本地运行你的项目：搭建一个本地开发环境（可以用一份大表数据的副本）并运行你的Django应用。
2. 安装Django调试工具条：这个有用的工具可以帮助你了解数据库查询和它们的执行时间。Django调试工具条的链接是：https://django-debug-toolbar.readthedocs.io/
3. 检查查询性能：使用调试工具条查看COUNT查询执行需要多长时间。

优化分页

如果你因为COUNT查询而遇到性能慢的问题，可以考虑使用基于游标的分页方法。这样就不需要提前计算所有记录的数量，可以显著提高大表的性能。

我个人在我的项目中使用了django-admin-cursor-paginator这个包（https://pypi.org/project/django-admin-cursor-paginator/），它适用于超过3万条记录的表。