我正在尝试将一些python apache beam脚本更新到apachebeam的最新2.9版本。在google cloud dataflow runner上运行导入from google.cloud.spanner import Client
的脚本时,遇到以下错误(direct runner工作正常):
https://gist.github.com/pascaldelange/f43cc1f6dc290291804b64b0db1cadfe
我有一个合适的设置.py在2.9之前还不错 尤其是
REQUIRED_PACKAGES = [
"Flask==0.12.2",
"apache-beam[gcp]==2.9",
"gunicorn==19.7.1",
"gevent==1.2.1",
"google-api-core==1.7.0",
"google-apitools==0.5.24",
"google-auth==1.6.2",
"google-cloud-bigquery==1.6.1",
"google-cloud-core==0.29.0",
"google-cloud-pubsub==0.35.4",
"google-cloud-spanner==1.7.1",
"google-cloud-storage==1.13.1",
"google-resumable-media==0.3.1",
"googleapis-common-protos==1.5.5",
"googledatastore==7.0.2",
"grpc-google-iam-v1==0.11.4",
"proto-google-cloud-datastore-v1==0.90.4",
"six==1.11",
]
可能与此相关:在另一个作业(流)上,我有错误日志
^{pr2}$以及
Missing required coder_id on grpc_port for -3; using deprecated fallback.
虽然它们看起来并没有真正阻止执行
是什么导致了这个错误,特别是只使用googleclouddataflow runner? 提前谢谢
此错误:
在梁2.9中引入,在2.10中仍然存在。在
虽然the commit that added this error日志具有“error”严重性,但它似乎并没有真正破坏任何内容。在
以下是beam jira问题,了解更多详细信息:
https://jira.apache.org/jira/browse/BEAM-5415
相关问题 更多 >
编程相关推荐