向dtool添加s3支持
dtool-s3的Python项目详细描述
- github:https://github.com/jic-dtool/dtool-S3
- 圆周率：https://pypi.python.org/pypi/dtool-S3
- 自由软件：麻省理工学院许可证
功能
- 将数据集复制到S3对象存储并从中复制
- 列出S3存储桶中的所有数据集
- 直接在s3中创建数据集
安装
要安装dtool-s3软件包：
pip install dtool-s3
配置
安装aws客户端，有关详细信息，请参见 https://docs.aws.amazon.com/cli/latest/userguide/installing.html。简而言之：
pip install awscli --upgrade --user
使用以下命令配置凭据：
aws configure
这些是boto3库所需的，有关详细信息，请参见 https://boto3.readthedocs.io/en/latest/guide/quickstart.html。
用法
将数据集从本地磁盘（my-dataset）复制到s3存储桶 （/data_raw）可以使用下面的命令：
dtool copy ./my-dataset s3://data_raw
要列出s3存储桶中的所有数据集，可以使用以下命令：
dtool ls s3://data_raw
有关详细信息，请参见dtool documentation。
欢迎加入QQ群-->： 979659372
