气流如何从python操作符创建数据流作业？

Question

当我通过命令行运行Beam管道时，使用directrunner或dataflow runner，它工作得很好。。。在

示例：

$ python my_pipeline.py --key /path/to/gcp/service/key.json --project gcp_project_name

但当我尝试使用气流时，我有两个选项，bash操作符或python操作符。在

使用bash操作符会成功，但会限制我使用气流特性的能力。在

但是我要做的是把它作为一个python操作符运行。所以我要导入airflow dg文件中的模块，然后作为python操作符运行它。在

如果我使用本地运行程序，它也可以正常工作，但是当我将其更改为数据流运行程序时，它在GCP dataflow上创建作业后失败，并出现此错误

ImportError: No module named airflow.bin.cli

让flow从python操作符创建数据流作业，我缺少什么？在

Answer 1

好吧， 这不是完美的解决方案，但是你可以使用

DataFlowPythonOperator()

它将运行与我们前面提到的完全相同的bash命令。 这是一个解决方法，并不等于PythonOperator，但更像是运行BashOperator。。。 在当前情况下仍然无法使用气流的强度功能（如xcom）。。。 Docs