此代码获取页面。我的问题是我需要刮用户评论的内容而不是评论的数量。它嵌套在“评论数”部分中,但我不确定如何访问链接、解析和获取用户注释。在
request_list = []
id_list = [0]
for i in range(0,200,25):
response = requests.get("https://www.reddit.com/r/CryptoCurrency/?count="+str(i)+"&after="+str(id_list[-1]), headers = {'User-agent':'No Bot'})
soup = BeautifulSoup(response.content, 'lxml')
request_list.append(soup)
id_list.append(soup.find_all('div', attrs={'data-type': 'link'})[-1]['data-fullname'])
print(i, id_list)
if i%100 == 0:
time.sleep(1)
下面的代码我试图编写一个函数,它应该访问嵌套的注释,但我没有线索。在
^{pr2}$
对于每个线程,您需要发送另一个请求来获取评论页面。可以使用
soup.find_all('a', class_='bylink comments may-blank')
找到评论页的url。这将为评论页提供所有的a
标记的url。我将向您展示一个进入评论页面的示例。在相关问题 更多 >
编程相关推荐