如何在python中使用Selenium和Beautifulsoup解析网站？

Question

刚开始编程，就知道如何使用Selenium导航到需要去的地方。我现在想分析数据，但不知道从哪里开始。有人能牵着我的手指点我正确的方向吗？

感谢任何帮助-

Answer 1

假设您在要解析的页面上，Selenium将源HTML存储在驱动程序的page_source属性中。然后将page_source加载到BeautifulSoup中，如下所示：

In [8]: from bs4 import BeautifulSoup

In [9]: from selenium import webdriver

In [10]: driver = webdriver.Firefox()

In [11]: driver.get('http://news.ycombinator.com')

In [12]: html = driver.page_source

In [13]: soup = BeautifulSoup(html)

In [14]: for tag in soup.find_all('title'):
   ....:     print tag.text
   ....:     
   ....:     
Hacker News