使用bulkloader从Google App Engine下载数据时出错

Question

我正在尝试使用以下命令从数据存储中下载一些数据：

appcfg.py download_data --config_file=bulkloader.yaml --application=myappname 
                        --kind=mykindname --filename=myappname_mykindname.csv
                        --url=http://myappname.appspot.com/_ah/remote_api

在这个特定的种类/表中，当数据量不多的时候，我可以一次性下载所有数据——偶尔会遇到以下错误：

.................................[ERROR   ] [Thread-11]
ExportProgressThread:
Traceback (most recent call last):
  File "C:\Program Files\Google\google_appengine\google\appengine\tools
\bulkload
er.py", line 1448, in run
    self.PerformWork()
  File "C:\Program Files\Google\google_appengine\google\appengine\tools
\bulkload
er.py", line 2216, in PerformWork
    item.key_end)
  File "C:\Program Files\Google\google_appengine\google\appengine\tools
\bulkload
er.py", line 2011, in StoreKeys
    (STATE_READ, unicode(kind), unicode(key_start), unicode(key_end)))
OperationalError: unable to open database file

这是我在服务器日志中看到的内容：

Traceback (most recent call last):
  File "/base/python_runtime/python_lib/versions/1/google/appengine/
ext/remote_api/handler.py", line 277, in post
    response_data = self.ExecuteRequest(request)
  File "/base/python_runtime/python_lib/versions/1/google/appengine/
ext/remote_api/handler.py", line 308, in ExecuteRequest
    response_data)
  File "/base/python_runtime/python_lib/versions/1/google/appengine/
api/apiproxy_stub_map.py", line 86, in MakeSyncCall
    return stubmap.MakeSyncCall(service, call, request, response)
  File "/base/python_runtime/python_lib/versions/1/google/appengine/
api/apiproxy_stub_map.py", line 286, in MakeSyncCall
    rpc.CheckSuccess()
  File "/base/python_runtime/python_lib/versions/1/google/appengine/
api/apiproxy_rpc.py", line 126, in CheckSuccess
    raise self.exception
ApplicationError: ApplicationError: 4 no matching index found.

当出现这个错误时，我只需重新运行下载，通常就能顺利完成。

最近，我注意到随着我的种类数据量的增加，下载工具失败的次数也越来越多。例如，对于一个大约有3500个实体的种类，我需要运行这个命令5次——只有最后一次成功。有没有办法解决这个错误？之前我唯一担心的是因为偶尔的失败，无法在脚本中自动下载，现在我更害怕根本无法获取我的数据。

这个问题之前在这里讨论过，但那篇帖子比较旧，我不太确定建议的标志是干什么的——所以我再次发帖询问类似的问题。

一些额外的细节。正如这里提到的，我尝试了继续中断下载的建议（在从App Engine下载数据这一节中）。当我在中断后恢复下载时，没有出现错误，但下载的行数少于数据存储管理员显示的实体数量。这是我收到的消息：

[INFO    ] Have 3220 entities, 3220 previously transferred
[INFO    ] 3220 entities (1003 bytes) transferred in 2.9 seconds

数据存储管理员告诉我这个特定的种类大约有4300个实体。为什么剩下的实体没有被下载呢？

谢谢！

数据存储 google app engine 操作错误数据完整性数据下载 bulkloader 下载工具实体数量

使用bulkloader从Google App Engine下载数据时出错

1 个回答

撰写回答