在Python中使用BeautifulSoup点击链接

Question

在 mechanize 这个库里，我们可以通过 follow_link 或 click_link 来点击网页上的链接。那么在 beautiful soup 这个库里，有没有类似的方式可以点击网页上的链接呢？

Answer 1

这段代码是用来查找网页中的一个特定标题，具体是查找类名为“pdp_product_title”的

标签。可是，运行这段代码却没有得到任何结果。

下面是网页的一部分内容：

<div class="pr2-sm css-1ou6bb2"><h2 class="headline-5-small pb1-sm d-sm-ib css-1ppcdci" data-test="product-sub-title">Women's Shoe</h2><h1 id="pdp_product_title" class="headline-2 css-zis9ta" data-test="product-title">Nike Air Force 1 Shadow</h1></div>

从这段内容可以看到，

标签的id是“pdp_product_title”，而不是类名。所以如果想要找到这个标题，应该用id来查找，而不是用类名。

Answer 2

BeautifulSoup 是一个用来解析 HTML 的工具。

接下来讨论的内容其实要看你具体的情况和网页的复杂程度。

如果你需要和网页进行互动，比如提交表单、点击按钮、滚动页面等，你就需要使用一个能模拟真实浏览器的工具，比如 selenium。

在某些情况下，比如提交表单时不涉及 JavaScript，你可以使用 mechanize 来完成任务。

有时候，你也可以通过简单地跟随链接，使用 urllib2 或 requests 来处理。