带有干净API的BigQuery客户端包装
bigflow的Python项目详细描述
大流量
文件
- What is BigFlow?
- Getting started
- Installing Bigflow
- Help me
- BigFlow tutorial
- CLI
- Configuration
- Project structure and build
- Deployment
- Workflow & Job
- Starter
- Technologies
- Logging
- Monitoring
什么是BigFlow？在
BigFlow是一个Python框架，用于GCP上的数据处理管道。在
主要特点是：
- Dockerized deployment environment
- Powerful CLI
- Automated build，deployment， versioning和{a21}
- Unified project structure
- Support for the major data processing technologies-Dataproc（Apache Spark）， Dataflow（apachebeam）和{a26}
- Project starter
入门
从在本地计算机上安装BigFlow开始。 接下来，通过BigFlowtutorial。在
安装BigFlow
先决条件。开始之前，请确保已安装以下软件：
您可以全局安装bigflow软件包，但我们建议您这样做
使用venv在项目文件夹中本地安装：
python -m venv .bigflow_env
source .bigflow_env/bin/activate
安装bigflowPIP包：
测试一下：
bigflow -h
阅读有关BigFlow CLI的更多信息。在
要与GCP交互，您需要设置默认项目并登录：
gcloud config set project <your-gcp-project-id>
gcloud auth application-default login
最后，检查Docker是否正在运行：
docker info
帮帮我
您可以在我们的gitter channel或stackoverflow上提问。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
