datacatalog-fileset-processor 0.1.5

数据目录文件集处理器

管理Google云数据目录文件集脚本的包。在

免责声明：这不是官方支持的谷歌产品。

目录

• Executing in Cloud Shell
• 1. Environment setup
  • 1.1. Python + virtualenv
    • 1.1.1. Install Python 3.6+
    • 1.1.2. Get the source code
    • 1.1.3. Create and activate an isolated Python environment
    • 1.1.4. Install the package
    在
  • 1.2. Docker
  • 1.3. Auth credentials
    • 1.3.1. Create a service account and grant it below roles
    • 1.3.2. Download a JSON key and save it as
    • 1.3.3. Set the environment variables
    在
  在
• 2. Create Filesets from CSV file
  • 2.1. Create a CSV file representing the Entry Groups and Entries to be created
  • 2.2. Run the datacatalog-fileset-processor script - Create the Filesets Entry Groups and Entries
  • 2.3. Run the datacatalog-fileset-processor script - Delete the Filesets Entry Groups and Entries
  在

---

在云Shell中执行

# Set your SERVICE ACCOUNT, for instructions go to 1.3. Auth credentials# This name is just a suggestion, feel free to name it following your naming conventionsexportGOOGLE_APPLICATION_CREDENTIALS=~/datacatalog-fileset-processor-sa.json

# Install datacatalog-fileset-processor
pip3 install datacatalog-fileset-processor --user

# Add to your PATHexportPATH=~/.local/bin:$PATH# Look for available commands
datacatalog-fileset-processor --help

1。环境设置

1.1条。Python+virtualenv

使用virtualenv是可选的，但强烈建议您除非使用Docker。在

1.1.1。安装Python 3.6+

1.1.2。获取源代码

^{pr2}$

下一步中以./开头的所有路径都是相对于datacatalog-fileset-processor 文件夹。

1.1.3。创建并激活一个独立的Python环境

pip install --upgrade virtualenv
python3 -m virtualenv --python python3 env
source ./env/bin/activate

1.1.4。安装软件包

pip install --upgrade .

1.2条。Docker

Docker可以作为运行脚本的替代方法。在这种情况下，请忽略 Virtualenv安装说明。在

1.3条。身份验证凭据

1.3.1。创建服务帐户并授予其以下角色

• 数据目录管理员

1.3.2。下载一个JSON密钥并将其另存为

此名称只是一个建议，请按照您的命名约定随意命名

• ./credentials/datacatalog-fileset-processor-sa.json

1.3.3。设置环境变量

如果使用Docker，则可以跳过此步骤。

exportGOOGLE_APPLICATION_CREDENTIALS=~/credentials/datacatalog-fileset-processor-sa.json

2。从CSV文件创建文件集

2.1条。创建一个CSV文件，表示要创建的条目组和条目

文件集由表示其所有字段所需的任意多行组成。列是 描述如下：

Column	Description	Mandatory
entry_group_name	Entry Group Name.	Y
entry_group_display_name	Entry Group Display Name.	N
entry_group_description	Entry Group Description.	N
entry_id	Entry ID.	Y
entry_display_name	Entry Display Name.	Y
entry_description	Entry Description.	N
entry_file_patterns	Entry File Patterns.	Y
schema_column_name	Schema column name.	N
schema_column_type	Schema column type.	N
schema_column_description	Schema column description.	N
schema_column_mode	Schema column mode.	N

请注意，schema_column_type是一个开放的字符串字段，如果需要，可以接受任何内容 要将文件集与数据流SQL一起使用，请遵循official docs中的数据类型。在

2.2条。运行datacatalog fileset processor脚本-创建文件集条目组和条目

• Python+virtualenv

datacatalog-fileset-processor filesets create --csv-file CSV_FILE_PATH

2.3条。运行datacatalog fileset processor脚本-删除Filesets条目组和条目

• Python+virtualenv

datacatalog-fileset-processor filesets delete --csv-file CSV_FILE_PATH

TIPS

• 在

  sample-input/create-filesets供参考

  在
• 在

  如果要创建不带架构的文件集： sample-input/create-filesets/fileset-entry-opt-1-all-metadata-no-schema.csv供参考

  在

历史

0.1.0（2020-04-24）

• PyPI的第一个版本。在

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• simple-ansible-api

  这是一个样品包

• toposis-rishav-101803333

  TOPSIS算法是一种利用正理想解和负理想解从多个解中选择最优解的算法

• mandos

  得到化合物的生物靶点。

• bandup

  绑定代码的Python接口

• x-hsky-whl-test

  测试包

• qx

  用ASCII键对数据进行编码和解码的一种工具和文件格式

• zorroclient

  这个客户机是官方zorroapi的包装器

• alphabet-soup-lambert

  单词搜索项目

• rb-message-writer

  通常使用气流将消息写入数据存储。

• jsa-auth-middleware

  JetStream身份验证中间件

• ketama

  Ketama一致哈希库的Python绑定

• yaqd-microchip

  用于与微芯片集成电路接口的yaq守护程序

• pyprimer

  素数相关函数的简单集合。

• qif2ofx

  从QIF转换为OXF

• odoo13-addon-website-sale-product-brand

  网站产品品牌过滤