使用python的BigQuery外部表

2024-04-24 03:58:28 发布

您现在位置:Python中文网/ 问答频道 /正文

如何使用python(googlecloudbigquery)在BigQuery中创建外部表(联邦数据源)?在

我知道您可以使用这样的bq命令,但我不想这样做:

bq mk --external_table_definition=path/to/json tablename
bq update tablename path/to/schemafile

with external_table_definition as:
{
  "autodetect": true,
  "maxBadRecords": 9999999,
  "csvOptions": {
    "skipLeadingRows": 1
  },
  "sourceFormat": "CSV",
  "sourceUris": [
    "gs://bucketname/file_*.csv"
  ]
}

像这样的schemafile:

^{pr2}$

谢谢你的帮助! 拉尔斯


Tags: topath命令jsontablebigquery数据源external
1条回答
网友
1楼 · 发布于 2024-04-24 03:58:28
table_id = 'table1'

table = bigquery.Table(dataset_ref.table(table_id), schema=schema)
external_config = bigquery.ExternalConfig('CSV')
external_config = {
  "autodetect": true,
  "options": {
    "skip_leading_rows": 1
  },
  "source_uris": [
    "gs://bucketname/file_*.csv"
  ]
}
table.external_data_configuration = external_config
table = client.create_table(table) 

架构格式为:

^{pr2}$

相关问题 更多 >