通过cloud d读取计算实例中的文件

Question

我想访问计算引擎VM中存在的文件。我必须从GCE读取文件，并且需要在云数据流中使用pythonsdk将文件转换为GCS。 如果有人向我建议这件事，我会帮上大忙的。你知道吗

Answer 1

你有几种解决办法。你知道吗

1. 如果您的转换可以站在VM上（不需要水平可伸缩性），那么可以使用^{} runner在VM上直接运行Beam管道
2. 如果你想使用数据流，你必须把你的文件放在一个可访问的存储：谷歌云存储。您可以使用rsync if you have to sync a directory with the bucket，并且可以在您的VM上cron它。然后构建管道，从bucket读取文件并对其进行处理
3. 如果您的文件在BigQuery中是“可摄取”的，那么您可以将其加载到BigQuery中，并通过SQL和UDF执行转换，然后在其他表和extract it to GCS中考虑结果

有了更多关于愿望和约束的细节，我们可以完善答案。你知道吗