从中提取数据kickstarter.com网站

2024-04-25 00:30:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在写一个小脚本,从中提取所有项目的数据kickstarter.com网站-到目前为止,它的工作还不错,但在搜索引擎的网站本身,我只能得到200页,每个项目20个。以前有人遇到过这个或类似的问题吗?我使用的是开源代码,来源如下:

while True:
    r = requests.get('https://www.kickstarter.com/discover/advanced.json?sort=newest&seed=2478857&page=' + str(page))
    #print r.status_code
    if r.status_code!=200:
        break
    data = r.json()
    print len(data["projects"])
    total+=len(data["projects"])
    for index in range(len(data["projects"])):
        #print "%s,%f,%s,%f" % (data["projects"][index]["name"], data["projects"][index]["goal"], data["projects"][index]["currency"], data["projects"][index]["pledged"])
        csv_output.write("\"%s\",%s,%.0f,%s,%.2f,%d,%s,%s,%s\n" % (data["projects"][index]["name"].encode('ascii', 'ignore'),
            data["projects"][index]["category"]["slug"].split("/")[0],
            data["projects"][index]["goal"],
            data["projects"][index]["currency"],
            data["projects"][index]["pledged"],
            data["projects"][index]["backers_count"],
            str(datetime.datetime.fromtimestamp(data["projects"][index]["created_at"])),
            str(datetime.datetime.fromtimestamp(data["projects"][index]["launched_at"])),
            str(datetime.datetime.fromtimestamp(data["projects"][index]["deadline"]))))
    page+=1

print total

编辑1: 在201页,我得到404响应代码。在


Tags: 项目comjsondatadatetimeindexlen网站