App Engine 无论 task_retry_limit=0,仍然重复执行失败任务
我在使用任务队列的API时遇到了一些问题。当一个任务失败时,appengine总是会再次运行这个任务,即使我已经告诉它不要这样做。
这是相关的代码:
NO_RETRY = TaskRetryOptions(task_retry_limit=0)
class EnqueueTaskDapau(webapp2.RequestHandler):
def get(self):
taskqueue.add(
url='/task_dapau',
queue_name='DEFAULT',
retry_options=NO_RETRY
)
class TaskDapau(webapp2.RequestHandler):
def get(self):
logging.warning('Vai dar pau')
raise BaseException('Deu pau :-)')
def post(self):
return self.get()
application = webapp2.WSGIApplication([
('/', MainPage),
('/enqueue_dapau', EnqueueTaskDapau),
('/task_dapau', TaskDapau),
], debug=True)
整个应用程序可以在Github上找到,所以应该很容易复现这个问题。当我在浏览器中访问/enqueue_dapau时,我在日志中看到的内容是这样的(在网页控制台上):
2014-10-30 08:31:01.054 /task_dapau 500 4ms 0kb AppEngine-Google; (+http://code.google.com/appengine) module=default version=1
W 2014-10-30 08:31:01.052 Vai dar pau
E 2014-10-30 08:31:01.053 Traceback (most recent call last): File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/runtime/wsgi.py", line 267, in
2014-10-30 08:31:00.933 /task_dapau 500 3ms 0kb AppEngine-Google; (+http://code.google.com/appengine) module=default version=1
W 2014-10-30 08:31:00.931 Vai dar pau
E 2014-10-30 08:31:00.932 Traceback (most recent call last): File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/runtime/wsgi.py", line 267, in
2014-10-30 08:31:00.897 /enqueue_dapau 200 91ms 0kb Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36 module=default version=1
如果我查看网页控制台上的任务队列,我看到“最后一分钟运行次数 == 2”。这个行为和我在本地使用SDK时看到的情况不同:
INFO 2014-10-30 15:49:05,711 module.py:666] default: "GET /enqueue_dapau HTTP/1.1" 200 -
WARNING 2014-10-30 15:49:05,729 views.py:33] Vai dar pau
ERROR 2014-10-30 15:49:05,729 wsgi.py:279]
Traceback (most recent call last):
File "/home/tony/google_appengine/google/appengine/runtime/wsgi.py", line 267, in Handle
result = handler(dict(self._environ), self._StartResponse)
File "/home/tony/google_appengine/lib/webapp2-2.3/webapp2.py", line 1505, in __call__
rv = self.router.dispatch(request, response)
File "/home/tony/google_appengine/lib/webapp2-2.3/webapp2.py", line 1253, in default_dispatcher
return route.handler_adapter(request, response)
File "/home/tony/google_appengine/lib/webapp2-2.3/webapp2.py", line 1077, in __call__
return handler.dispatch()
File "/home/tony/google_appengine/lib/webapp2-2.3/webapp2.py", line 545, in dispatch
return method(*args, **kwargs)
File "/home/tony/work/qmag/gaetests/src/views.py", line 37, in post
return self.get()
File "/home/tony/work/qmag/gaetests/src/views.py", line 34, in get
raise BaseException('Deu pau :-)')
BaseException: Deu pau :-)
INFO 2014-10-30 15:49:05,735 module.py:666] default: "POST /task_dapau HTTP/1.1" 500 -
WARNING 2014-10-30 15:49:05,735 taskqueue_stub.py:1986] Task task4 failed to execute. The task has no remaining retries. Failing permanently after 0 retries and 0 seconds
这是个bug吗?(看起来确实像)
有没有简单的解决办法呢?
3 个回答
-1
检查一下你的queue.yaml文件,确保它的配置是正确的。
queue:
- name: default
retry_parameters:
task_retry_limit: 0
3
我刚找到了一种方法,可以避免不必要的重试:
taskqueue.add(
url='/blah',
queue_name='myq',
retry_options=TaskRetryOptions(task_retry_limit=0, task_age_limit=1),
countdown=1,
)
这个重试次数限制、年龄限制和倒计时的组合就是解决问题的关键。
不过,这个方法还是不太完美,所以在谷歌修复这个bug之前,我就不把它标记为正确答案了。
3
正如文档中提到的,App Engine 有时候会重复执行一个任务。你需要编写任务时考虑到这一点,确保重复执行不会造成问题。