scrapy 如何创建自定义调度器中间件

4 投票
1 回答
2046 浏览
提问于 2025-04-17 22:22

我正在使用 Python 2.7 和 Scrapy 0.20

我的问题

我该如何建立自己的调度器?

我尝试过的

我在网上查了一下,发现了这些:

  1. 我需要创建一个自己的 Python 类,并通过 SCHEDULER_MIDDLEWARES 在设置中进行指定
  2. 创建这个类,可能要从 scrapy.core.scheduler 这个模块继承

但是我在网上找不到任何示例,也没有官方的文档可以参考

1 个回答

2

你可以设置这个叫做 SCHEDULER 的选项

SCHEDULER = 'myproject.schedulers.MyScheduler'

然后从scheduler.py文件中复制代码。

撰写回答