我正在学习BeautifulSoup并尝试加载this网页的内容。我试图通过深入HTML tags
和inspect element
来获取内容。你知道吗
我使用了不同的代码片段来显示和检查是否能够成功检索内容。你知道吗
以下代码片段很好地产生了结果:
from bs4 import BeautifulSoup
import requests
root = 'https://www.quora.com/topic/Graduate-Record-Examination-GRE-1'
r = requests.get(root)
soup = BeautifulSoup(r.text,'html.parser')
#**The following worked yielded some results :**
#1
a = soup.find_all('div',{'class':'feed'})
print(a)
#2
b = soup.find_all('div',{'class':'ContentWrapper'})
print(b)
#3
c = soup.find_all('div',{'class':'ContentWrapper'})
print(c)
#4
d = soup.find_all('div',{'class':'feed'})
print(d)
#5
e = soup.find_all('div',{'class':'TopicFeed'})
print(e)
但是,在深入了那么多之后,下面的内容却没有产生任何效果:
f = soup.find_all('div',{'class':'paged_list_wrapper'})
print(f)
它打印:[]
<div class='paged_list_wrapper'>
内的内容/HTML代码无法打印。为什么?你知道吗
站点可以配置为基于用户代理发送不同的页面。我遇到了和你一样的问题。它返回了一个空列表。在头文件中添加一个通用的用户代理为我解决了这个问题。你知道吗
相关问题 更多 >
编程相关推荐