上传到Socrata的ApacheAirflow插件。
airflow-socrata-plugin的Python项目详细描述
气流比例
用于将数据上载到Socrata的简单挂钩和运算符。
功能
- upsert或reupload postgresql表到socrata
安装
使用pip:
pip3 install airflow-socrata-plugin
用法
创建名为http_socrata、类型为http的连接以存储Socrata凭据。您还可以传入dag定义中的conn_name参数以重写。
创建名为etl_postgres、类型为postgres的连接以存储PostgreSQL凭据。您还可以传入dag定义中的postgres_conn_name参数以重写。
默认情况下，插件在public架构下查找指定的表。可以使用postgres_schema参数指定架构。
插件作为pip包发布。有关可用参数，请参阅example DAG。
欢迎加入QQ群-->： 979659372
