流式插入/批量插入 - 长时间延迟?
我正在通过Python的Google API把数据流式传输到BigQuery的一个表里。
我收到了一个200 OK的响应,并且在BigQuery的回复中没有看到'insertErrors'这个键:
{u'kind': u'bigquery#tableDataInsertAllResponse'}
但是当我查询我的表时,发现里面只有2行数据,尽管我在20分钟之前插入了好几条记录。
我哪里都看不到错误信息,有人能告诉我该怎么排查这个问题吗?
1 个回答
0
我在这里找到了解决办法:https://stackoverflow.com/a/19145783/1607103
我通过创建一个新的数据集和新的表格解决了我遇到的问题。现在一切都运作得很好,添加数据后几秒钟就能看到。我的项目现在正处于表格结构频繁变化的阶段,这似乎是问题的根源。为了避免问题,我会确保修改过的表格暂时使用不同的名字。
我非常担心bigquery出现了看不见的问题。没有错误提示让我感到不太放心,我也没有发现有什么迹象表明事情出错了。