使用Boto3配置fi覆盖S3端点

Question

概述：

我试图使用配置文件（~/aws/confg）覆盖boto3中的某些变量。 在我的用例中，我想使用fakes3服务并向本地主机发送S3请求。

示例：

在boto（而不是boto3）中，我可以在~/.boto中创建一个与此类似的配置：

[s3]
host = localhost
calling_format = boto.s3.connection.OrdinaryCallingFormat

[Boto]
is_secure = False

客户机可以成功地获取所需的更改，而不是将流量发送到真正的S3服务，而是将其发送到本地主机。

>>> import boto
>>> boto.connect_s3()
S3Connection:localhost
>>> 

我试过的：

我试图使用boto3库获得类似的结果。通过查看源代码，我发现可以使用~/aws/config位置。我还在botocore的unittests文件夹中找到了一个示例配置。

我试图修改配置以实现所需的行为。但不幸的是它不起作用。

配置如下：

[default]
aws_access_key_id = XXXXXXXXX
aws_secret_access_key = YYYYYYYYYYYYYY
region = us-east-1
is_secure = False
s3 =
    host = localhost

问题：

1. 如何使用配置文件覆盖clients变量？
2. 在哪里可以找到配置允许变量的完整列表？

Answer 1

另一种方式：

import boto3

s3client = boto3.client('s3', endpoint_url='http://X.X.x.X:8080/',
        aws_access_key_id = 'XXXXXXX',
        aws_secret_access_key = 'XXXXXXXX')
bucket_name = 'aaaaa'
s3client.create_bucket(Bucket=bucket_name)

Answer 2

boto3仅从该配置文件中读取s3的签名版本。您可能希望打开功能请求，但现在您可以使用以下方法处理自定义终结点：

import boto3
from botocore.utils import fix_s3_host
resource = boto3.resource(service_name='s3', endpoint_url='http://localhost')
resource.meta.client.meta.events.unregister('before-sign.s3', fix_s3_host)

关于meta的那一点很重要，因为boto3在它认为合适时自动将端点更改为your_bucket_name.s3.amazonaws.com。如果您将同时使用自己的主机和s3，那么您可能希望覆盖该功能，而不是将其全部删除。

Answer 3

不能在配置文件中设置主机，但是可以使用boto3从代码中重写它。

import boto3

session = boto3.session.Session()

s3_client = session.client(
    service_name='s3',
    aws_access_key_id='aaa',
    aws_secret_access_key='bbb',
    endpoint_url='http://localhost',
)

然后你可以像往常一样互动。

print(s3_client.list_buckets())