如何使用Python Selenium访问网页检查元素内容?

0 投票
1 回答
2326 浏览
提问于 2025-04-18 05:54

我想做的是从这个网页 'http://www.trulia.com/property/1080560259-2-Penelope-Ln-Middletown-NJ-07748' 上抓取信息。在这个网页中,当我点击“估算”(在“可比和估算”部分下面的标签)时,谷歌地图下面的数据会动态加载出来。

这些数据在网页源代码中看不到,但在开发者工具窗口中(右键菜单,检查元素)却能看到。

我正在使用Selenium和Python 2.7。有没有办法访问这些数据?或者有没有办法获取所有的元素?

提前谢谢你。

1 个回答

2

因为这个是通过ajax来实现的,所以你需要自己处理这个问题。

我会这样做:(这只是个伪代码)

find_element_by_css_selector('a#dataset_nearby').click()
waitForElement('ul#places_map_module li.active table.table tr')

你可能需要调整一下选择器,但在waitForElement这个部分,基本上你就是要不断检查这个元素,等它可用之后再对它执行命令。

撰写回答