用于将数据上载到HCA数据平台的CLI工具
hca-util的Python项目详细描述
HCUTIL A公司
将人类Atlas S3的数据上传到AWS的CLI单元工具。在
用户
先决条件
用户需要
- 基本命令行知识
- 他们的机器上安装了Python3.x
- 访问S3存储桶中数据的凭据(访问和密钥)
安装
可以从PyPi安装hca-util工具。在
$ pip install hca-util
注意,在PyPi中有一个版本发布为covid-util,用于将数据上传到欧洲COVID-19数据平台。此版本使用其自己的独立数据存储和访问凭据。在
使用
显示帮助和命令列表。在
^{pr2}$在上面,可选参数在[]
之间,选择在{
基本用法如下:
$ hca-util cmd ARG1 ARG2 -o1 -o2
通过指定命令(cmd
-参见下面的列表)来使用该工具,指定任何必需的(位置的)参数(例如ARG1
和{-o1
和o2
-请参见每个命令的选项)。在
命令
特定命令的帮助:
$ hca-util <cmd> -h
某些命令或选项/标志仅限于授权用户(管理员)。在
config
命令
配置AWS凭据
$ hca-util config ACCESS_KEY SECRET_KEY positional arguments: ACCESS_KEY AWS Access Key ID SECRET_KEY AWS Secret Access Key
该工具在本地AWS配置文件中使用概要文件名hca util。在
配置完成后,可以通过再次运行命令来检查设置,这次不需要凭据(hca-util config
),以验证先前输入的凭据是否有效。在
create
命令
创建上传区域(仅限授权用户)
$ hca-util create NAME [-p {u,ud,ux,udx}] positional arguments: NAME name for the new area optional arguments: -p {u,ud,ux,udx} allowed actions (permissions) on new area. u for upload, x for delete and d for download. Default is ux
select
命令
显示或选择活动上载区域
$ hca-util select AREA
positional arguments:
AREA area uuid.
如果未指定区域,则显示选定区域。在
list
命令
列出所选区域的内容
$ hca-util list [-b] optional arguments: -b list all areas in bucket **(authorised users only)**
upload
命令
将文件上载到选定区域
$ hca-util upload PATH [PATH ...][-o] positional arguments: PATH valid file or directory optional arguments: -o overwrite files with same names
download
命令
从所选区域下载文件
$ hca-util download (-a | -f file [file ...]) optional arguments: -a download all files from selected area -f file [file ...] download specified file(s) only
delete
命令
从所选区域删除文件
$ hca-util delete [-a | -d][PATH [PATH ...]] positional arguments: PATH path to file or directory to delete optional arguments: -a delete all files from the area -d delete upload area and contents (authorised users only)
sync
命令
将文件从选定区域传输到摄取上载区域
$ hca-util sync INGEST_UPLOAD_AREA positional arguments: INGEST_UPLOAD_AREA Ingest upload area
摄取上传区域格式:s3://org-hca-data-archive-upload-_ENV_/_UUID_/
开发商
下载依赖项
pip install -r requirements.txt
跑
python3 -m ait.commons.util
运行测试
nosetests
- 项目
标签: