我如何使用BeautifulSoup在IMDB网站上“描述”电影？

Question

我正在使用BeautifulSoup在IMDB网站上抓取电影。我成功地掌握了电影的名称、类型、持续时间和评级。但我无法粗略地描述电影，因为当我看这些课程时，它是“文本静音”的，因为这个课程多次保存其他数据，如评级、流派、持续时间。但由于这些数据也有内部类，所以我更容易对其进行刮取，但当涉及到描述时，它没有任何内部类。因此，在提取数据时，仅使用“文本静音”也会提供其他数据。我怎样才能得到电影的描述

附上代码和屏幕截图以供参考：

我用来抓取流派的示例代码如下：

genre_tags=data.select(".text-muted .genre")
genre=[g.get_text() for g in genre_tags]
Genre = [item.strip() for item in genre if str(genre)]
print(Genre)

Answer 1

一般来说，lxml比beautifulsoup好得多

import requests 
from lxml 
import html

url = "xxxx"

r = requests.get(url)

tree = html.fromstring(r.text)

rows = tree.xpath('//div[@class="lister-item mode-detail"]')

for row in rows:
    description = row.xpath('.//div[@class="ratings-bar"]/following-sibling::p[@class="text-muted"]/text()')[0].strip()