为所有操作员独家使用气流对接器的自以为是的实现
airflow-docker的Python项目详细描述
气流对接器
说明
为所有操作员独家使用气流对接器的自以为是的实现。
默认运算符
fromairflow_docker.operatorimportOperatortask=Operator(image='some-image:latest',...)
默认传感器
fromairflow_docker.operatorimportSensorsensor=Sensor(image='some-image:latest',...)
任务代码
fromairflow_docker_helperimportclientclient.sensor(True)
分支运算符
DAG任务
fromairflow_docker.operatorimportBranchOperatorbranching_task=BranchOperator(image='some-image:latest',...)
任务代码
fromairflow_docker_helperimportclientclient.branch_to_tasks(['task1','task2'])
短路操作器
DAG任务
fromairflow_docker.operatorimportShortCircuitOperatorshort_circuit=ShortCircuitOperator(image='some-image:latest',...)
任务代码
fromairflow_docker_helperimportclientclient.short_circuit()# This task will short circuit if this function gets called
上下文用法
DAG任务
fromairflow_docker.operatorimportOperatortask=Operator(image='some-image:latest',provide_context=True,...)
任务代码
fromairflow_docker_helperimportclientcontext=client.context()
配置
可以在airflowdocker命名空间下设置以下运算符默认值：
- 强制拉取（布尔真/假）
- 自动删除（布尔值真/假）
- 网络模式
例如，要在默认情况下将force_pull设置为false，请将以下环境变量设置为so:
exportAIRFLOW__AIRFLOWDOCKER__FORCE_PULL=false
欢迎加入QQ群-->： 979659372
