2024-03-29 10:12:25 发布
网友
根据FAQ,Scrapy首先探索了深度,但我注意到它会在运行任何更深入的请求之前处理10到30个来自start_url的请求。在
在处理起始URL之前,我可以更改参数并强制scrapy探索深度吗?在
参考http://doc.scrapy.org/en/latest/faq.html#does-scrapy-crawl-in-breadth-first-or-depth-first-order
与Apalala suggested一样,如果您真的想使用Scrapy强制执行一个特定的请求顺序,inline requests就是最好的方法。在
从设计上讲,Scrapy并不意味着对请求遵循严格的顺序,对于大多数用例^{},优先级(来自^{} constructor)或者甚至你提到的^{} setting就足够了。在
与Apalala suggested一样,如果您真的想使用Scrapy强制执行一个特定的请求顺序,inline requests就是最好的方法。在
从设计上讲,Scrapy并不意味着对请求遵循严格的顺序,对于大多数用例^{} ,优先级(来自^{} constructor )或者甚至你提到的^{} setting 就足够了。在
相关问题 更多 >
编程相关推荐