如何解析无限滚动页面（例如。Wallbase.cc/search/sky)用Python？

Question

不知道是否有任何机械化或美化小组可以帮助。如有任何建议，我们将不胜感激！在

Answer 1

Mechanize和Beautiful soup无法与用于无限滚动的javascript接口。在

硒可以。在

另外，如果您要在使用无限滚动时查看ajax请求，您将看到一个带有请求数据的post请求http://wallbase.cc/search/160：

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc

160对应于图像范围，因此它之前的请求是wallbase.cc/searc/128。在