马奎兹与气流的结合
marquez-airflow的Python项目详细描述
马奎兹气流
集成airlow dag和Marquez的库，用于自动元数据收集。
状态
这个库正在The We Company进行积极的开发。
要求
安装
$ pip install marquez-airflow
要从源代码安装，请运行：
$ python setup.py install
用法
库安装到系统中后，需要通过将导入的airflow.models.DAG更改为marquez.airflow.DAG来稍微修改当前的DAG，请参见下面的示例：
frommarquez_airflowimportDAGfromairflow.operators.dummy_operatorimportDummyOperatorDAG_NAME='my_DAG_name'default_args={'marquez_location':'github://data-dags/dag_location/','marquez_input_urns':["s3://some_data","s3://more_data"],'marquez_output_urns':["s3://output_data"],'owner':...,'depends_on_past':False,'start_date':...,}dag=DAG(DAG_NAME,schedule_interval='*/10 * * * *',default_args=default_args,description="yet another DAG")run_this=DummyOperator(task_id='run_this',dag=dag)run_this_too=DummyOperator(task_id='run_this_too',dag=dag)run_this_too.set_upstream(run_this)
贡献
有关如何贡献的详细信息，请参见CONTRIBUTING.md。
欢迎加入QQ群-->： 979659372
