datacatalog-custom-entries-manager 0.1.0

datacatalog自定义条目管理器

管理Google云的Python包Data Catalog custom entries，正在从中加载元数据 外部资源。目前支持CSV和JSON文件格式。在

目录

• 1. Environment setup
  • 1.1. Python + virtualenv
    • 1.1.1. Install Python 3.6+
    • 1.1.2. Create a folder
    • 1.1.3. Create and activate an isolated Python environment
    • 1.1.4. Install the package
    在
  • 1.2. Docker
    • 1.2.1. Get the source code
    在
  • 1.3. Auth credentials
    • 1.3.1. Create a service account and grant it below roles
    • 1.3.2. Download a JSON key and save it as
    • 1.3.3. Set the environment variables
    在
  在
• 2. Manage Custom Entries
  • 2.1. Synchronize Data Catalog
    • 2.1.1. To a CSV file
    • 2.1.2. To a JSON file
    在
  在

1。环境设置

1.1条。Python+virtualenv

使用virtualenv是可选的，但强烈建议您除非使用Docker。在

1.1.1。安装Python 3.6+

1.1.2。创建文件夹

这是推荐的，这样所有相关的东西都将驻留在同一个地方，这样更容易理解 以下说明。在

mkdir ./datacatalog-custom-entries-manager
cd ./datacatalog-custom-entries-manager

下一步中以./开头的所有路径都与 datacatalog-custom-entries-manager文件夹。

1.1.3。创建并激活一个独立的Python环境

^{pr2}$

1.1.4。安装软件包

pip install --upgrade datacatalog-custom-entries-manager

1.2条。Docker

Docker可以用作运行datacatalog-custom-entries-manager的替代方法。在这种情况下， 请忽略abovevirtualenv安装说明。在

1.2.1。获取源代码

git clone https://github.com/ricardolsmendes/datacatalog-custom-entries-manager
cd ./datacatalog-custom-entries-manager

1.3条。身份验证凭据

1.3.1。创建服务帐户并授予其以下角色

• DataCatalog条目组所有者
• DataCatalog条目所有者
• 数据目录查看器

<3.4.1条。下载一个JSON密钥并将其另存为

• ./credentials/datacatalog-custom-entries-manager.json

1.3.3。设置环境变量

如果使用的是Docker，则可以跳过此步骤。

exportGOOGLE_APPLICATION_CREDENTIALS=./credentials/datacatalog-custom-entries-manager.json

2。管理自定义条目

2.1条。同步数据目录

2.1.1。到CSV文件

• SAMPLE INPUT

1. sample-input/csv供参考
2. Data Catalog Sample Custom Entries（googlesheets）可能有助于创建/导出CSV文件。在

• 命令

Python+virtualenv

datacatalog-custom-entries sync \
  --csv-file <CSV-FILE-PATH> \
  --project-id <YOUR-PROJECT-ID> --location-id <YOUR-LOCATION-ID>

Docker

docker build --rm --tag datacatalog-custom-entries-manager .
docker run --rm --tty \
  --volume <CREDENTIALS-FILE-FOLDER>:/credentials --volume <CSV-FILE-FOLDER>:/data \
  datacatalog-custom-entries-manager sync \
  --csv-file /data/<CSV-FILE-PATH> \
  --project-id <YOUR-PROJECT-ID> --location-id <YOUR-LOCATION-ID>

2.1.2。到JSON文件

• SAMPLE INPUT

1. sample-input/json供参考

• 命令

Python+virtualenv

datacatalog-custom-entries sync \
  --json-file <JSON-FILE-PATH> \
  --project-id <YOUR-PROJECT-ID> --location-id <YOUR-LOCATION-ID>

Docker

docker build --rm --tag datacatalog-custom-entries-manager .
docker run --rm --tty \
  --volume <CREDENTIALS-FILE-FOLDER>:/credentials --volume <CSV-FILE-FOLDER>:/data \
  datacatalog-custom-entries-manager sync \
  --json-file <JSON-FILE-PATH> \
  --project-id <YOUR-PROJECT-ID> --location-id <YOUR-LOCATION-ID>

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• wikilink

  一个多进程的web抓取应用程序，用于抓取wiki页面并在两个给定wiki页面之间找到最小数量的链接。

• micropython-traceback

  micropython的回溯模块

• clickatell

  用于与Clickatell短信网关交互的库

• proxy-factor

  提供匿名代理。

• chamd

  childes-cha文件到paqu明文元数据格式的转换与清理

• tempmon

  温度监视守护程序

• genre.p

  py在discogs上查找特定专辑的流派，并相应地更新id3数据。

• c7n-org

  云托管多账户

• gnuhealth-ems

  GNU救护车和应急管理健康包

• collective.diversion

  diversion包装zodb中已损坏对象的现有行为，允许开发人员声明其类的旧位置并自动迁移它们

• typing-extensions

  python 3.5的后端口和实验类型提示+

• iam_acctmgr

  未知

• etao

  简单密码分析库

• django-readme-generator

  django项目的readme.md生成器

• pypwrctrl

  anel net pwrctrl库和命令行实用程序