用于对对象存储解决方案执行数据目录操作的包
datacatalog-object-storage-processor的Python项目详细描述
datacatalog对象存储处理器
用于对对象存储解决方案执行数据目录操作的包。在
目录
- 1. Environment setup 在
- 2. Create DataCatalog entries based on object storage files 在
- 3 Delete up object storage entries on entry group
- Disclaimers
1。环境设置
1.1条。获取代码
git clone https://github.com/mesmacosta/datacatalog-object-storage-processor
cd datacatalog-object-storage-processor
1.2条。身份验证凭据
1.2.1。创建服务帐户并授予其以下角色
- 数据目录管理员
- 存储管理员或自定义角色存储桶列表acl
1.2.2。下载一个JSON密钥并将其另存为
./credentials/datacatalog-object-storage-processor-sa.json
1.3条。虚拟环境
使用virtualenv是可选的，但强烈建议您除非使用Docker。在
1.3.1。安装Python 3.6+
1.3.2。创建并激活一个独立的Python环境
^{pr2}$1.3.3。安装依赖项
pip install --upgrade --editable .
1.3.4。设置环境变量
exportGOOGLE_APPLICATION_CREDENTIALS=./credentials/datacatalog-object-storage-processor-sa.json
1.4条。Docker
Docker可以作为运行所有脚本的替代方案。在这种情况下，请忽略Virtualenv安装说明。在
2。基于对象存储文件创建DataCatalog条目
2.1条。python主.py
- Python
datacatalog-object-storage-processor \ object-storage create-entries --type cloud-storage \ --project-id my_project \ --entry-group-name my_entry_group_name \ --bucket-prefix my_bucket
- 码头工人
docker build --rm --tag datacatalog-object-storage-processor . docker run --rm --tty -v your_credentials_folder:/data datacatalog-object-storage-processor \ --type cloud-storage \ --project-id my_project \ --entry-group-name my_entry_group_name \ --bucket-prefix my_bucket
3删除条目组上的对象存储条目
删除给定条目组的条目
datacatalog-object-storage-processor \ object-storage delete-entries --type cloud-storage \ --project-id my_project \ --entry-group-name my_entry_group_name
免责声明
这不是一个官方支持的Google产品。在
历史
0.1.0（2020-05-01）
- PyPI的第一个版本。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
