如何在大查询表的特定列中插入预定义值?

2024-04-20 13:01:34 发布

您现在位置:Python中文网/ 问答频道 /正文

我想编写一个小型python实用程序作业,它将从GCS bucket中的两种类型的文件(比如一个是“SourceA”,另一个是“SourceB”)加载数据。两个csv文件的列的编号、名称和顺序都相同,因此生成的bigquery表将具有相同的列。我的要求是在bq表中再添加一列作为“Source”,它将告诉我们任何特定行来自哪个文件(SourceA或SourceB)。你知道吗

在python中,为了将CSV文件中的数据加载到bq表中,我使用以下命令-

bq load --replace --skip_leading_rows=1 `<tablePath>` <filepath>

我怎样才能像SQL中那样做-

insert into tableName(col1,col2,col3,...coln) as select col1,col2,...coln-1,"SourceA" from table2;

Tags: 文件csv数据实用程序类型bucket作业编号