使用beautifulsoup删除网页的某些部分

Question

我试图阅读一个页面的链接，但我得到的链接比预期的多。 我正在做的是：

http = httplib2.Http()
status, page= http.request('page address')
soup = BeautifulSoup(page,'html.parser', parse_only=SoupStrainer('a'))
For link in soup:
 if link.has_attr('href'):
    print(link['href'])

我查看了该页面，发现它有两个主要组件：

<div id="main">
<aside id="secondary">

我不想要的链接来自<aside id="secondary">内部。仅从<div id="main">获取链接的最简单方法是什么

谢谢

Answer 1

要选择<a>下的<div id="main">链接，可以使用CSS选择器：

for a in soup.select('div#main a'):
    print(a)

---

对于仅具有href=属性的链接：

for a in soup.select('div#main a[href]'):
    print(a['href'])

Answer 2

我建议使用beautifulsoup的find_all操作符：

my_links = soup.find_all("a", {"id":"main", "href":True})
my_links = [x["href"] for x in my_links]

假设您的网页包含父div内的链接，您可以执行以下操作：

my_divs = soup.find_all("div", {"id":"main"})
my_links = [x.find_all("a", {"href":True}, recursive=False) for x in my_divs]
# flatten
my_links = [x for y in my_links for x in y]
# extract hrefs
my_links = [x["href"] for x in my_links]