不同conda环境下的Python任务和dag

2024-03-28 20:18:20 发布

您现在位置:Python中文网/ 问答频道 /正文

假设我在flow中的大多数dag和任务都应该在与flow服务器相同的机器上运行Python代码。在

我可以使用不同的DAG使用不同的conda环境?如果是,我该怎么做?例如,我是否可以使用Python操作符?或者,这会限制我使用以前安装气流的相同的conda环境。在

更一般地说,我应该在哪里/如何为每个DAG或任务激活所需的conda环境?在


Tags: 代码服务器机器环境flowcondadag气流
1条回答
网友
1楼 · 发布于 2024-03-28 20:18:20

运行flow Worker代码的Python是其环境将用于执行代码的Python。在

您可以做的是为不同的执行环境设置单独的命名队列,为不同的worker,这样只有特定的机器或机器组才能执行特定的DAG。在

相关问题 更多 >