我怎样才能让这段代码通过网站的所有430页并输出到一个文件中
>>> import requests, bs4
>>> resp = requests.get('https://everythingrs.com/tools/osrs/itemlist')
>>> bs = bs4.BeautifulSoup(resp.content)
>>> [(tr.find('strong').text, tr.find('td', class_='alt1').text) for tr in bs.find_all('tr')[1:]]
Tags:
在网站中,你正在废弃的页面是由url+页码标识的,因此要使用所有430个页面,只需在所有页面之间进行for循环,即
for page_no in range(1,431): resp = requests.get('https://everythingrs.com/tools/osrs/itemlist' + str(page_no)) // All the rest of the code here
要将输出保存到文件中,可以使用
open(filename)
with open(filename, 'wb') as f: for i in output_array: f.write(i[0]); f.write(i[1]);
以所需的格式修改上述代码。您还可以使用
requests.session
来提高下载速度相关问题 更多 >
编程相关推荐