如何使用boto将文件从Amazon S3流式传输到Rackspace Cloudfiles？

Question

我正在将一个文件从S3复制到Cloudfiles，我希望避免将该文件写入磁盘。Python Cloudfiles库有一个object.stream（）调用，看起来是我需要的，但是在boto中找不到等效的调用。我希望我能做些类似的事情：

shutil.copyfileobj(s3Object.stream(),rsObject.stream())

这在boto（或者我想还有其他的s3库）中是可能的吗？

Answer 1

我想至少有一些人看到这个问题会像我一样，希望有一种方法从boto逐行（或逗号，逗号，或任何其他分隔符）流文件。有一个简单的方法：

def getS3ResultsAsIterator(self, aws_access_info, key, prefix):        
    s3_conn = S3Connection(**aws_access)
    bucket_obj = s3_conn.get_bucket(key)
    # go through the list of files in the key
    for f in bucket_obj.list(prefix=prefix):
        unfinished_line = ''
        for byte in f:
            byte = unfinished_line + byte
            #split on whatever, or use a regex with re.split()
            lines = byte.split('\n')
            unfinished_line = lines.pop()
            for line in lines:
                yield line

@garnaat上面的回答仍然很好，100%正确。希望我的还是能帮助别人。