如何在Google App Engine中获取超过1MB的数据？

Question

Google App Engine对urlfetch.fetch()的响应限制为1MB。有没有什么办法可以绕过这个限制（比如切换到付费版本）？

我在使用Python，如果能提供一个例子那就太好了。

Answer 1

不，你不能通过一个网址获取超过1MB的数据（即使你开启了计费功能）。不过，你可以尝试使用Range这个请求头，分段获取目标网址的数据，然后把这些部分合起来。这样做可能会更快，因为你可以同时获取每个1MB的小块数据（使用异步请求）。

Answer 2

在全新的 SDK 1.4.0 中，你可以下载最大32兆字节的文件；不过要记住，你还是有10秒的时间限制哦 ;-) 。 对于请求处理程序，时间限制最多可以延长到60秒，而对于任务队列和定时任务处理程序，时间限制可以达到10分钟。

现在，URLFetch允许的响应大小增加到了32MB。不过，请求的大小仍然限制在1MB以内。