如何从网页抓取href(以前做过,但不适用于一个网站?

2024-05-01 21:44:39 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图从以下网站的某个div类(class=“card img block”)中获取链接:https://milled.com/OneKingsLane

我以前曾在许多不同的网站上通过以下方法做到这一点:

import requests
from bs4 import BeautifulSoup

session = requests.Session()
html = 'https://milled.com/OneKingsLane'
req = session.get(html)
bs = BeautifulSoup(req.text, 'html.parser')

link_box = bs.find_all('div', attrs={'class': 'card-img-block'})

for links in link_box:
    print(links['href'])

但由于某种原因,当我使用相同的方法时,我得到以下错误:

    return self.attrs[key]
KeyError: 'href'

有人知道我如何从div类中获取URL吗

谢谢:)


Tags: 方法httpsimportdivcomimg网站html