我写了简单的代码,从网站上刮取数据,但我正在努力保存到csv文件的所有行。完成的脚本只保存一行-这是循环中最后一次出现。你知道吗
def get_single_item_data(item_url):
f= csv.writer(open("scrpe.csv", "wb"))
f.writerow(["Title", "Company", "Price_netto"])
source_code = requests.get(item_url)
soup = BeautifulSoup(source_code.content, "html.parser")
for item_name in soup.find_all('div', attrs={"id" :'main-container'}):
title = item_name.find('h1').text
prodDesc_class = item_name.find('div', class_='productDesc')
company = prodDesc_class.find('p').text
company = company.strip()
price_netto = item_name.find('div', class_="netto").text
price_netto = price_netto.strip()
#print title, company, ,price_netto
f.writerow([title.encode("utf-8"), company, price_netto, ])
重要的是将数据保存到并发列
问题是您正在
get_single_item_data
中打开输出文件,当该函数返回且f
超出范围时,输出文件将被关闭。 您想将一个打开的文件传递到get_single_item_data
,以便写入多行。你知道吗@PadraicCunningham这是我的全部剧本:
相关问题 更多 >
编程相关推荐