在GCP组件上创建气流DAG

Question

我刚刚了解了GCP Composer，正在尝试将DAGs从我的本地气流实例移动到cloud，并且对转换有一些问题。你知道吗

1. 在本地实例中，我使用HiveOperator从配置单元读取数据，创建表并将其写回配置单元。如果我必须在GCP中这样做怎么可能？我是否需要将数据上传到googlebucket，HiveOperator是否在GCP中工作？

2. 我有一个DAG，它使用sensor来检查另一个DAG是否完成，这在Composer上可能吗？

Answer 1

编写器具有连接存储。请参见菜单“管理”>；“连接”。检查可用的连接类型。你知道吗

传感器可用。你知道吗

Answer 2

是的，Cloud Composer是由Apache管理的，所以您可以这样做。你知道吗

确保使用与本地使用的气流相同的版本。Cloud Composer目前支持Airflow 1.9.0和1.10.0。你知道吗