我对Airflow和Python都是新手,我正在尝试配置一个计划报告。报告需要从配置单元中提取数据并通过电子邮件发送结果。在
目前我的代码:
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.hive_operator import HiveOperator
default_args = {
'owner': 'me',
'depends_on_past': False,
'start_date': datetime(2015, 1, 1),
'email': ['email@example.com'],
'email_on_failure': True,
'email_on_retry': True,
'retries': 3,
'retry_delay': timedelta(hours=2)
}
dag = DAG(
dag_id='hive_report',
max_active_runs=1,
default_args=default_args,
schedule_interval='@once')
query = """
#query goes here
"""
run_hive_query = HiveOperator(
task_id="fetch_data",
hql=query,
dag=dag
)
我很确定我需要添加一个EmailOperator任务来发送结果,因为这似乎只配置为失败时发送电子邮件或重试。在
我的问题是:配置单元操作符如何处理结果集?将结果集从一个任务传递到另一个任务的最佳方法是什么?在
目前没有回答
相关问题 更多 >
编程相关推荐