如何从网站上刮取2级网页

Question

我想问你如何使用python+Beautiful soup或Scrapy来抓取网页，例如，如果有两个级别的页面，一个简短的描述+一个指向职位完整细节的链接，那么其中包含职位公告？我需要从职位公告的标题中刮取数据，然后深入提取完整的描述，并将数据添加到数据库或文本文件中？问题是到了第二个层次，在那里完整的描述生活，并获得完整的细节，包括图像链接，如果存在。。。 有人这样做过吗

先谢谢你

Answer 1

检查：

• https://docs.scrapy.org/en/latest/intro/tutorial.html#following-links
• https://github.com/zseta/scrapy-templates/blob/master/website%20spider%20templates/1fol_pag2scr.py

如果我知道你想做什么，我会保存你需要的。。。公司名称、描述、第二链接等

然后，对于保存的每个公司，向SecondLink和保存/设置信息发出请求