用刮刀刮一页

2024-06-16 10:33:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个很长的网址流,我需要刮取和提取数据,我想使用scrapy。在

假设我有一个扭曲的反应堆,我创造了蜘蛛

runner = CrawlerRunner(scrapy_settings)
d = runner.crawl(spider_cls)

有没有办法我可以把网址发送给蜘蛛,让它来处理它们?在


Tags: 数据settingsspiderrunnerclsscrapy发送给蜘蛛