如何使用beautifulsoup从网页中提取选择性文本数据?

2024-03-29 10:04:25 发布

您现在位置:Python中文网/ 问答频道 /正文

我必须从下面的网页获取数据。你知道吗

https://www.snapdeal.com/product/skycandle-purple-magic-mop/624744850271#bcrumbSearch:magic%20mop

我还附上了网页截图。 我的目标是获取买家在“客户评论”部分输入的评论,向下滚动一点就可以找到。你知道吗

Screenshot of the 'Customer Reviews' section

import urllib.request

wiki = "https://www.snapdeal.com/product/skycandle-purple-magic-mop/624744850271#bcrumbSearch:magic%20mop"

page = urllib.request.urlopen(wiki)

from bs4 import BeautifulSoup

soup = BeautifulSoup(page)

#for printing comments 
comm = soup.find_all("div", {"class" : "reviewareain clearfix"})

print (comm)

但是当我运行这个程序时,我没有得到任何输出。对于我提到的类名和标记,我在chrome浏览器上使用了“inspect element”来找出它们。我想我选择了错误的类名,因为html的结构中有多个嵌套的<div>标记
我是python的新手,因此,请给出一个简单而全面的答案。另外,除了官方文件外,请推荐一些好的网上资料来学习美团。你知道吗


Tags: httpsimportcom网页requestwwwmagic评论