我正试着用scrapy从网页上搜集产品信息。我的待刮网页如下:
我试图复制下一个按钮ajax调用,但无法正常工作,所以我尝试使用selenium。我可以在单独的脚本中运行selenium的webdriver,但是我不知道如何与scrapy集成。我该把硒的那部分放在我的蜘蛛身上?
我的蜘蛛很标准,如下所示:
class ProductSpider(CrawlSpider):
name = "product_spider"
allowed_domains = ['example.com']
start_urls = ['http://example.com/shanghai']
rules = [
Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="productList"]//dl[@class="t2"]//dt'), callback='parse_product'),
]
def parse_product(self, response):
self.log("parsing product %s" %response.url, level=INFO)
hxs = HtmlXPathSelector(response)
# actual data follows
任何想法都值得赞赏。谢谢您!
如果(url在两个页面之间没有变化),那么您应该使用scrapy.Request()添加don_filter=True,否则scrapy在处理完第一个页面后会发现此url是重复的。
如果需要使用javascript呈现页面,则应该使用scrapy-splash,还可以检查这个scrapy middleware,它可以使用selenium处理javascript页面,也可以通过启动任何无头浏览器来完成
但更有效、更快的解决方案是检查浏览器,查看在提交表单或触发某个事件期间发出的请求。尝试模拟浏览器发送的相同请求。如果您能够正确地复制请求,您将获得所需的数据。
下面是一个例子:
当每一页的分页url相同时&;使用POST-request,则可以使用scrapy.FormRequest()而不是scrapy.request(),两者相同,但FormRequest向构造函数添加了一个新参数(formdata=)。
下面是这个post中的另一个蜘蛛示例:
这真的取决于你需要如何刮网站,如何和什么样的数据,你想得到。
下面是一个如何在易趣上使用
Scrapy
+Selenium
进行分页的示例:以下是一些“硒蜘蛛”的例子:
还有一种方法可以替代使用} middleware 就足以处理页面的动态部分。实际使用示例:
Selenium
和Scrapy
。在某些情况下,使用^{相关问题 更多 >
编程相关推荐