使用不同的python/pyspark环境执行气流dag

2024-04-20 06:20:14 发布

您现在位置:Python中文网/ 问答频道 /正文

我已经在虚拟python环境和spark(spark2 submit)中设置了airflow。我希望环境分开,以防包冲突。当我运行SparkSubmitOperator时,它使用的是气流虚拟环境,而不是基本环境。如何使用cloudera附带的基本python和spark运行作业?你知道吗


Tags: 环境作业虚拟环境附带sparkairflowsubmitcloudera