python、请求、lxml：模拟css网格上的选项卡更改

Question

我正在使用requests和lxml从thesaurus.com中获取数据

以这个url为例：https://www.thesaurus.com/browse/mass

我可以通过以下代码获得我想要的：

  url = 'https://www.thesaurus.com/browse/' + 'mass'
  r = requests.get(url)
  tree = lxml.html.fromstring(r.content)
  raw_syn_list = tree.xpath('//h2[text()="other words for "]/following-sibling::ul//text()')

但我不知道如何以编程方式访问第二种质量感。它在站点上组织为同义词网格上方的另一个选项卡

image of the tabs

单击站点上的选项卡时，相关的html元素将被替换。我猜这可能发生在某个javascript函数中，但我似乎找不到它

Answer 1

查看浏览器开发人员工具中的行为，整个页面将重新加载。单击选项卡后，重新运行加载定义的代码，将其视为新页面，不要重用以前的webelement实例。在上面的示例代码中

• 单击选项卡
• 使用不同的变量名从requests.getUrl（）开始重做所有操作 这会让你得到新的内容