管理Google云数据目录标记的包，从外部源加载元数据
datacatalog-tag-manager的Python项目详细描述
数据目录标记管理器
管理Google云数据目录标记的Python包，从外部加载元数据 消息来源。当前支持CSV文件格式。在
目录
- 1. Environment setup 在
- 2. Manage Tags 在
1。环境设置
1.1条。Python+virtualenv
使用virtualenv是可选的，但强烈建议您除非使用Docker。在
1.1.1。安装Python 3.6+
1.1.2。创建文件夹
这是推荐的，这样所有相关的东西将驻留在同一个地方，使它更容易遵循 以下说明。在
mkdir ./datacatalog-tag-manager
cd ./datacatalog-tag-manager
下一步中以./开头的所有路径都是相对于datacatalog-tag-manager
文件夹。
1.1.3。创建并激活一个独立的Python环境
^{pr2}$1.1.4。安装软件包
pip install --upgrade datacatalog-tag-manager
1.2条。Docker
Docker可以用作运行datacatalog-tag-manager的替代方法。在这种情况下，请
忽略abovevirtualenv安装说明。在
1.2.1。获取源代码
git clone https://github.com/ricardolsmendes/datacatalog-tag-manager
cd ./datacatalog-tag-manager
1.3条。身份验证凭据
1.3.1。创建服务帐户并授予其以下角色
- BigQuery元数据查看器
- 数据目录TagTemplate用户
- 具有
bigquery.datasets.updateTag和bigquery.tables.updateTag权限的自定义角色
./credentials/datacatalog-tag-manager.json
1.3.3。设置环境变量
如果使用的是Docker，则可以跳过此步骤。
exportGOOGLE_APPLICATION_CREDENTIALS=./credentials/datacatalog-tag-manager.json
2。管理标记
2.1条。创建或更新
创建或更新标记的元数据架构如下所述。根据需要使用多行 描述您需要的所有标记和字段。在
| Column | Description | Mandatory |
|---|---|---|
| linked_resource OR entry_name | Full name of the BigQuery or PubSub asset the Entry refers to, or an Entry name if you are working with Custom Entries | yes |
| template_name | Resource name of the Tag Template for the Tag | yes |
| column | Attach Tags to a column belonging to the Entry schema | no |
| field_id | Id of the Tag field | yes |
| field_value | Value of the Tag field | yes |
TIPS
- sample-input/upsert-tags供参考
- Data Catalog Sample Tags（googlesheets）可能有助于创建/导出CSV文件。在
2.1.1。从CSV文件
- Python+virtualenv
datacatalog-tags upsert --csv-file CSV_FILE_PATH
- 码头工人
docker build --rm --tag datacatalog-tag-manager . docker run --rm --tty \ --volume CREDENTIALS_FILE_FOLDER:/credentials --volume CSV_FILE_FOLDER:/data \ datacatalog-tag-manager upsert --csv-file /data/CSV_FILE_NAME
2.2条。删除
删除标记的元数据模式如下所述。根据需要使用尽可能多的行来删除所有 你想要的标签。在
^{tb2}$TIPS
- sample-input/delete-tags供参考
- Data Catalog Sample Tags（googlesheets）可能有助于创建/导出CSV文件。在
2.2.1。从CSV文件
- Python+virtualenv
datacatalog-tags delete --csv-file CSV_FILE_PATH
- 码头工人
docker build --rm --tag datacatalog-tag-manager . docker run --rm --tty \ --volume CREDENTIALS_FILE_FOLDER:/credentials --volume CSV_FILE_FOLDER:/data \ datacatalog-tag-manager delete --csv-file /data/CSV_FILE_NAME
- 项目
标签：
欢迎加入QQ群-->： 979659372
