使用BeautifulSoup从html页面提取链接

Question

我需要从Piography网站上摘录一些文章。在

所以从这个页面http://www.biography.com/people我需要所有的子链接。 例如：

 /people/ryan-seacrest-21095899
 /people/edgar-allan-poe-9443160

但我有两个问题：

1-当我尝试查找全部内容时；。我找不到我需要的href。在

^{pr2}$

2-有一个“查看更多”按钮。所以我可以采取所有的人在网站上的所有链接。不只是出现在第一页？在

Answer 1

在你展示的网站上，使用角度和部分内容生成JS。beauthulsoup不执行JS。您需要使用http://selenium-python.readthedocs.io/或其他类似的工具。或者您可以窥探ajax需要的GET（或者可能是POST）方法，并通过他给出数据。在