分布式周期任务调度

Question

对于用python编写的大型分布式任务，建议使用什么调度引擎？当你有<；1000个周期性任务时，可以使用气流或芹菜节拍之类的方法。但是，>；100000个周期性任务如何？这些任务是通过API等动态创建的。你知道吗

用例：

例如，假设一个分析平台每小时定期扫描数百万个网站。因此，您需要能够动态添加新的url进行扫描（新的周期性任务），并以最佳方式将处理分发给所有工作人员。你知道吗

谢谢！你知道吗