Python抓取splash javascript cli

Question

我正在尝试使用Splash来呈现包含javascript内容的网页。我用lxml解析结果。 我需要展开隐藏菜单。我找到了单击element的方法，但不知道如何单击xpath搜索的每个结果。在

在我的xpath过滤器下面。在

//div[包含（@class，'clickable_area'）]

因此，我需要对这个xpath表达式执行“find all”搜索，对于每个表达式，单击对象以显示隐藏的信息。在

如果有人能帮我。。。在

谢谢

Answer 1

在这里我将向您解释如何获取所有子菜单。在

https://angel.co/new_tags/list_children?tag_id=data-tag_id 例如https://angel.co/new_tags/list_children?tag_id=9217 它将返回“所有市场”的所有子菜单

然后你可以收集所有的“data-tag_id”并逐个传递到URL。在

如果没有data-tag_id，则返回错误。在