使用Selenium和Python提取JavaScript生成的HTML？Firebug？

Question

我是个Python新手。

我遇到了一个数据获取的问题。我在一个网站上，当我用Firebug检查我想要的元素时，它显示了包含我需要的信息的源代码。然而，普通的源代码（不使用Firebug）却没有这些信息。这意味着我也无法通过正常的selenium来抓取这些数据。

我在想，是否有办法让selenium像Firebug那样抓取这些数据——我猜这可能是页面加载后通过javascript或jquery生成的HTML。

这里有一张图片： https://i.stack.imgur.com/mIF5l.png

你可以看到我想要的信息是“灰色的”，和其他大部分HTML不一样。也许这能给我们一些线索，告诉我们这到底是什么类型的数据。

Answer 1

试着用下面的代码看看能不能运行。

import selenium.webdriver.support.ui

element = WebDriverWait(driver, 10).until(
        lambda driver : driver.find_element_by_xpath("fImageMap > area:nth-child(2)")
)