气流的BigQuery记录器处理程序
airflow-bigquerylogger的Python项目详细描述
气流的BigQuery记录器处理程序
安装
pip install airflow-bigquerylogger
配置
AIRFLOW__CORE__REMOTE_LOGGING='true'AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER='gs://bucket/path'AIRFLOW__CORE__REMOTE_LOG_CONN_ID='gcs_log'AIRFLOW__CORE__LOGGING_CONFIG_CLASS='bigquerylogger.config.LOGGING_CLASS'AIRFLOW__CORE__LOG_BIGQUERY_DATASET='dataset.table'AIRFLOW__CORE__LOG_BIGQUERY_LIMIT=50
谷歌云BigQuery
最近通过流式处理（使用tabledata.insertall方法）不能使用UPDATE、DELETE或MERGE语句进行修改。我建议设置一个表保留！在
学分
感谢Bluecore工程团队的this usefull article。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
