使用Python将大文件下载到Google云存储

Question

我正在写一个Python的GAE程序。我想做的是通过HTTP协议下载一个文件，并把它写入谷歌云存储。

但是如果我请求的文件很大（超过1MB），

url = urllib2.urlopen(link)

就会出现问题。

它总是会抛出一个叫做ResponseTooLargeError的错误。

这篇帖子解释了为什么会出现这个错误：

https://groups.google.com/forum/?fromgroups=#!topic/google-appengine/QEm-19vdcU4

不过这并没有解决我的问题，我就是想把一个大文件下载到云存储里。

有没有人能帮我一下？谢谢！

Answer 1

每次通过URL Fetch获取的响应大小限制是32MB。具体的限制和配额可以查看配额和限制部分。在使用App Engine时，你不能通过一次请求从一个网址上获取超过这个大小的内容。不过，你可以通过GCS或Blobstore直接从本地文件存储上传更大的文件到GAE，但不能通过网址复制。