如何用Python解析无限滚动页面（如：Wallbase.cc/search/sky）?

Question

不太确定Mechanize或BeautifulSoup有没有什么可以帮忙的。任何建议都非常感谢！

Answer 1

Mechanize和Beautiful Soup这两个工具无法处理无限滚动中使用的JavaScript。

但是，Selenium可以做到这一点。

另外，如果你在使用无限滚动时查看ajax请求，你会看到一个发送到 http://wallbase.cc/search/160 的POST请求，里面有这些请求数据：

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc

这里的160代表的是图片的范围，所以在它之前的请求是 wallbase.cc/search/128。