API更新项目的最佳方法

Question

我在一个个人项目中工作，从Sendinblue Api（CRM服务）中分割一些数据。基本上，我试图实现的是根据每个用户的电子邮件行为为其生成一个新的分数属性。对于该提议，我计划的过程如下：

1. 从API获取数据
2. 存储在数据库中
3. 用Python对数据进行分析和分段
4. 每24小时在Sendin中创建和更新分数属性

Api的速率限制为每分钟400个请求，我们现在讨论的是100k寄存器，这意味着我必须花费大约3个小时来获取所有初始数据（目前我正在使用并发期货进行多处理）。之后，我将计划只存储和更新显示更改的寄存器。我想知道这是否是最好的方法，哪些工具组合更适合这项工作

现在我所有的脚本都在Jupyter笔记本中，我最近完成了我的第一个Django项目，所以我不知道我是否需要一个Django应用程序来完成这个项目，或者只是简单地将笔记本连接到一个数据库（PostgreSQL？），如果最后一个是可能的，我必须学习每24小时运行一次脚本的库。（我是初学者）。谢谢

Answer 1

我认为你不需要Django，除非你想要一个网站来查看你的数据。即使如此，您也可以编写任何web应用程序，用任何框架/语言查看统计数据。因此，我认为方法更简单：

1. 创建python项目时，入口点主函数将执行从API获取数据的逻辑。完成后，您可以启动逻辑来分析和统计，然后将结果保存到数据库中
2. 若您可以通过SQL查询以查看最终结果，那个么就不需要构建web应用程序。否则，您可能需要构建一个小型web应用程序，从数据库中提取数据，以图表形式查看统计数据，或以任何首选格式导出数据
3. 设置一个linux cron作业，在#1执行python代码，并让它在您想要的特定时间每24小时运行一次。链接：https://phoenixnap.com/kb/set-up-cron-job-linux