为流式插入自动创建BQ表

Question

也许我搞错了：有没有一种方法可以自动为tabledata.insertAll指挥部？如果是，请指给我正确的方向。在

如果没有-创建所需表的最佳方法是什么？启动时检查现有表，并通过从GCS加载创建不存在的表？或者可以直接从代码中创建而不需要加载作业？在

我定义了许多事件类（Python云端点），完美的解决方案是使用这些定义创建匹配的BQ表。在

Answer 1

在流式处理期间无法自动创建表，因为BigQuery不知道模式。如果有一个字段“123”，那么您发布的JSON数据没有类型信息，我们不知道它是否总是字符串，或者它是否应该是一个整数。此外，如果发布的数据缺少可选字段，则创建的架构将比所需的模式窄。在

创建表的最佳方法是使用表格.插入（）调用（无需运行加载作业即可从GCS加载数据）。您可以准确地提供所需的模式，一旦创建了表，就可以将数据流式传输给它。在

在某些情况下，客户预先创建了一个月的表，因此他们只需每隔30天就需要担心一次。在其他情况下，您可能希望在启动时检查表是否存在，如果不存在，则创建它。在