并行处理数千个文件

2024-06-17 13:12:26 发布

您现在位置:Python中文网/ 问答频道 /正文

我在MongoDB中存储了数千个文件,需要获取和处理这些文件。 处理由几个步骤组成,这些步骤应按顺序进行。整个过程从开始到结束,每个文件大约需要2分钟

我的问题是如何在将来可扩展的同时尽可能快地做到这一点?我应该用纯python还是应该使用气流+芹菜(甚至芹菜本身)?有没有其他方法/建议我可以试一试

如有任何建议,我们将不胜感激。 提前谢谢


Tags: 文件方法顺序过程mongodb步骤建议芹菜