Scrapy 爬取链接列表

2 投票
1 回答
795 浏览
提问于 2025-04-18 06:39

我正在爬取一个网页,并从里面获取了一些链接。

['www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0347','www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0346', 'www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=AXS0229' ....]

我想知道能不能用同一个爬虫去爬这些链接?就像在一个爬虫正在爬取某个链接的时候,再去爬取另一个链接。我不需要代码,只想要一点指导,告诉我该怎么做。

1 个回答

1

使用一个叫做 CrawlSpider 的工具,并为链接列表设置合适的规则。

撰写回答