scrapy允许所有域

2024-03-29 13:30:00 发布

您现在位置:Python中文网/ 问答频道 /正文

我看到了this帖子,让scrapy抓取任何不受域限制的站点。

有没有更好的方法可以做到这一点,比如在allowed domains变量中使用正则表达式,比如-

allowed_domains = ["*"]

我希望有其他的方法,而不是侵入到scrapy框架来做这件事。


Tags: 方法框架站点this帖子scrapydomainsallowed