如何更改废请求队列大小?如何实现DFO严格

2024-03-29 10:12:25 发布

您现在位置:Python中文网/ 问答频道 /正文

根据FAQ,Scrapy首先探索了深度,但我注意到它会在运行任何更深入的请求之前处理10到30个来自start_url的请求。在

在处理起始URL之前,我可以更改参数并强制scrapy探索深度吗?在

参考http://doc.scrapy.org/en/latest/faq.html#does-scrapy-crawl-in-breadth-first-or-depth-first-order


Tags: orghttpurl参数dochtmllateststart
1条回答
网友
1楼 · 发布于 2024-03-29 10:12:25

Apalala suggested一样,如果您真的想使用Scrapy强制执行一个特定的请求顺序,inline requests就是最好的方法。在

从设计上讲,Scrapy并不意味着对请求遵循严格的顺序,对于大多数用例^{},优先级(来自^{} constructor)或者甚至你提到的^{} setting就足够了。在

相关问题 更多 >