气流蜂箱操作员结果

2024-04-20 05:55:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我对Airflow和Python都是新手,我正在尝试配置一个计划报告。报告需要从配置单元中提取数据并通过电子邮件发送结果。在

目前我的代码:

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.hive_operator import HiveOperator

default_args = {
    'owner': 'me',
    'depends_on_past': False,
    'start_date': datetime(2015, 1, 1),
    'email': ['email@example.com'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 3,
    'retry_delay': timedelta(hours=2)
}

dag = DAG(
    dag_id='hive_report',
    max_active_runs=1,
    default_args=default_args,
    schedule_interval='@once')

query = """
    #query goes here
"""

run_hive_query = HiveOperator(
    task_id="fetch_data",
    hql=query,
    dag=dag
)

我很确定我需要添加一个EmailOperator任务来发送结果,因为这似乎只配置为失败时发送电子邮件或重试。在

我的问题是:配置单元操作符如何处理结果集?将结果集从一个任务传递到另一个任务的最佳方法是什么?在


Tags: fromimportdefaultdatetimeonemail报告args