Airflow DataProcySparkOperator不考虑全局区域以外的群集

Question

我正在使用DataProcPySparkOperator执行一些操作。此运算符只将集群名称作为参数，没有指定region的选项，默认情况下它将cluster视为global region。 对于具有非全局区域的簇，将发生以下错误：

googleapiclient.errors.HttpError: https://dataproc.googleapis.com/v1/projects//regions/global/jobs:submit?alt=json returned "No current cluster for project id '' with name ''`

我是否遗漏了什么，或者只是这些运算符的局限性？在

Answer 1

我们在使用googlecomposer时遇到了同样的问题，它运行的是flow1.9。我们升级到Airflow 1.10，这就解决了这个问题。谷歌刚刚发布了它。现在，当我运行操作符时，它可以看到集群-它看起来在正确的区域。以前它总是着眼于全球。在

Answer 2

这些DataProc{PySpark| Spark|Hive|Hadoop |操作符今天根本不支持region参数，气流issue已经创建，我将在接下来的几天内提交一个修复程序。在