我正面临一个奇怪的问题
我已经部署了一个完整的气流设置,但在使用BashOperator运行python脚本时遇到了一个问题
我的dag看起来像这样:
from datetime import datetime
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
import pendulum
dag = DAG('ext_pipeline_import', description='Pipeline d''import des données extranet ', schedule_interval='00 04 * * *', start_date=pendulum.datetime(year=2020, month=3, day=20,tzinfo='Europe/Paris'),catchup=False)
t2 = BashOperator(
task_id='t2',
bash_command="customPython /data/airflow/dags/project/pyhton_src/myscript.py ",
dag=dag
)
t2
并且它在customPython中的模块上保持failig on import
如果我在终端中运行customPython /data/airflow/dags/project/pyhton_src/myscript.py
direct,它的工作就像一个符咒。你知道发生了什么吗?customPython指的是一个工作的python virtualenv
Python是正确的问题
在运行python之前,我必须导出正确的路径
相关问题 更多 >
编程相关推荐