轻松部署气流,促进当地发展
dockflow的Python项目详细描述
Dockflow命令行
此软件包要求在您的计算机上安装并运行docker。在
入门
- 在
安装dockflow:
在pip install dockflow
- 在
验证docker从私有GCR存储库中提取:
在
2.1条。首先确保您的gcloud
经过身份验证。
2.2条。使用gcloud config set project <project name>
确保您在正确的项目中 2.3条。使用gcloud auth configure-docker
验证docker从私有容器repo中提取。在
快速启动
- 确保docker文件共享设置允许访问您的开发目录。在
- 导航到
dags
文件夹的根目录。在 - 使用
dockflow config
并输入容器repo url(不包括版本)。- 这将把url保存在一个配置文件中。在
- 例如
gcr.io/<project>/<container>
- 仅当容器回购发生变化时才应使用此选项。在
- 如果图像版本标记不是
composer-1.11.2-airflow-1.10.9
,请使用dockflow start -iv <version>
指定标记 - 使用
dockflow start
(这将装入dag文件夹并启动气流)。在 - 使用UI添加连接。
- 管理->连接->创建
- 使用
dockflow refresh
刷新配置缓存或绑定配置。在 - 记住使用
dockflow stop
关闭实例以节省本地计算机资源。- 状态将与
dags
文件夹保存在同一目录中。在
- 状态将与
- 要停止并删除容器,请使用
dockflow stop --rm
可用的作曲家版本
- 作曲家-1.11.2-气流-1.10.9
- composer-1.10.6-airflow-1.10.6(默认)
- 作曲家-1.7.2-气流-1.10.2
CloudSQL代理
docker run -d \
-v <PATH_TO_KEY_FILE>:/config \
-p 127.0.0.1:5432:5432 \
--network='dockflow' \
--name='cloudsql' \
gcr.io/cloudsql-docker/gce-proxy:1.17 /cloud_sql_proxy \
-instances=<INSTANCE_CONNECTION_NAME>=tcp:0.0.0.0:5432 -credential_file=/config
- 项目
标签: