我正在尝试使用python脚本在GCP composer任务中使用BigQueryCreateEmptyTableOperator和cluster\ by column创建一个表。我正在使用“cluster\u fields”创建列,但它不起作用。请告诉我正确的方法是什么??你知道吗
下面是我正在使用的代码。你知道吗
stop_op = BigQueryCreateEmptyTableOperator(
task_id='BigQuery_CreateTable',
dataset_id=dataset_nm,
table_id=table_nm,
project_id=project_nm,
schema_fields=[{"name": "emp_name", "type": "STRING", "mode": "REQUIRED"},
{"name": "salary", "type": "INTEGER", "mode": "NULLABLE"},
{"name": "distribution_name", "type": "STRING", "mode": "NULLABLE"},
{"name": "transaction_date", "type": "DATE", "mode": "NULLABLE"}],
time_partitioning={'type': 'DAY', 'field': 'transaction_date'},
cluster_fields='distribution_name',
bigquery_conn_id='bigquery_default',
google_cloud_storage_conn_id='bigquery_default',
autodetect=True,
dag=dag
)
目前,最新版本的Airflow(1.10.5)中不提供此功能。你知道吗
但是,您可以使用下面的create new操作符并使用它。你知道吗
现在可以按如下方式使用:
相关问题 更多 >
编程相关推荐