如何将s3 bucket中的内容作为url读取

Question

我有一个s3 bucket的url在下面

s3_文件名为s3://xx/xx/y/z/ion.csv

如果它是桶，我可以阅读如下代码

def read_s3(bucket, key):
        s3 = boto3.client('s3')
        obj = s3.get_object(Bucket=bucket, Key=key)
        df = pd.read_csv(obj['Body'])
        return df

Answer 1

由于您似乎在使用熊猫，请注意它实际上在封面下使用了s3fs。因此，如果您的安装相对较新且标准，您可以直接执行以下操作：

df = pd.read_csv(s3_path)

如果您有一些特定的bucket配置，例如特殊凭证、KMS加密等，则可以使用显式配置的s3fs文件系统，例如：

fs = s3fs.S3FileSystem(
    key=my_aws_access_key_id,
    secret=my_aws_secret_access_key,
    s3_additional_kwargs={
            'ServerSideEncryption': 'aws:kms',
            'SSEKMSKeyId': my_kms_key,
    },
)
# note: KMS encryption only used when writing; when reading, it is automatic if you have access

with fs.open(s3_path, 'r') as f:
    df = pd.read_csv(f)

# here we write the same df at a different location, making sure
# it is using my_kms_key:
with fs.open(out_s3_path, 'w') as f:
    df.to_csv(f)

也就是说，如果您真的对获取对象感兴趣，而问题只是如何删除潜在的s3://前缀，然后拆分bucket/key，您可以简单地使用：

bucket, key = re.sub(r'^s3://', '', s3_path).split('/', 1)

但这可能会遗漏由上述awscli或s3fs等系统处理的更一般的案例和约定

为了获得更多的通用性，您可以在awscli中查看它们是如何做到这一点的。通常，这样做通常可以很好地指示某些功能是否已经在boto3或botocore中构建。但是，在本例中，它似乎不是（查看1.18.126版的本地克隆）。他们只是根据第一原则来做这件事：参见awscli.customizations.s3.utils.split_s3_bucket_key实现时的here

从该代码中最终使用的正则表达式中，您可以推断出awscli允许s3_path的情况种类确实是多种多样的：

_S3_ACCESSPOINT_TO_BUCKET_KEY_REGEX = re.compile(
    r'^(?P<bucket>arn:(aws).*:s3:[a-z\-0-9]+:[0-9]{12}:accesspoint[:/][^/]+)/?'
    r'(?P<key>.*)$'
)