使用Google自定义搜索API时出现“每日限制超出”

Question

我想要爬取大约2000个查询的200个结果，但系统给我提示“超出每日限制”。

我想确认一下，我们每天能爬取多少结果。有没有什么解决办法可以解决这个问题？还是说唯一的办法就是每天只爬取一小部分查询呢……？

这是我用来爬取谷歌的代码：

def crawl(query_list):
    http = httplib2.Http()

    # Construct the service object for the interacting with the CustomSearch API.
    service = discovery.build('customsearch', 'v1',  developerKey='my api key', http=http)

    res_list = []
    for query in query_list:
        json_res = service.cse().list(q = query, cx = 'my search engine id', num = 200,).execute()
        res_list.append(json_res)

谢谢！

Answer 1

根据这篇文章：

每天前100次查询是免费的。如果超过这个数量，就需要支付每1000次查询5美元，最多可以每天查询10,000次，只需开启计费功能即可。每次查询最多返回10个结果，所以你每天可以免费获取1000个网址。