擅长:python、mysql、java
<p>对于从某个HTTP位置复制大文件,您有一些选项。您可以从笔记本中调用单独的bash命令,并在bash单元中结合使用wget和gsutil。在</p>
<pre><code>%%bash
mkdir -p /tmp/data
cd /tmp/data
wget [src url]
gsutil cp [local file] [gcs location]
</code></pre>
<p>如果要枚举单个文件,将其写出,然后从bashshell调用它,甚至可以使用python生成一个shell脚本。在</p>
<p>或存储传输服务。请参阅开发控制台中的传输到云存储。我相信这里有一个API,但是我们没有为它构建任何python包装器。至少还没有。在</p>
<hr/>
<p>BQ是否支持一次性创建和加载表。如果是这样的话,我们应该确保我们的API能够做到这一点。如果是的话,你能为它归档一个bug吗?在</p>
<hr/>
<p>有关等待从load_async返回的作业,请参阅gcp.bigquery.wait帴all/any. 在</p>
<hr/>
<p>对工作完成情况进行监控/提醒是个好主意。我不完全确定这是数据实验室的事情还是底层作业(例如BQ中的加载作业)应该这样做。原因:您可能会杀死您的Datalab内核,甚至是实例,因此您确实希望作业通知,而不是Datalab监视作业的完成情况。然而,在进行这种整合方面没有分歧。在</p>