App Engine 无论 task_retry_limit=0,仍然重复执行失败任务

2 投票
3 回答
780 浏览
提问于 2025-04-30 15:56

我在使用任务队列的API时遇到了一些问题。当一个任务失败时,appengine总是会再次运行这个任务,即使我已经告诉它不要这样做。

这是相关的代码:

NO_RETRY = TaskRetryOptions(task_retry_limit=0)


class EnqueueTaskDapau(webapp2.RequestHandler):
    def get(self):
        taskqueue.add(
            url='/task_dapau',
            queue_name='DEFAULT',
            retry_options=NO_RETRY
        )


class TaskDapau(webapp2.RequestHandler):
    def get(self):
        logging.warning('Vai dar pau')
        raise BaseException('Deu pau :-)')

    def post(self):
        return self.get()


application = webapp2.WSGIApplication([
    ('/', MainPage),
    ('/enqueue_dapau', EnqueueTaskDapau),
    ('/task_dapau', TaskDapau),
], debug=True)

整个应用程序可以在Github上找到,所以应该很容易复现这个问题。当我在浏览器中访问/enqueue_dapau时,我在日志中看到的内容是这样的(在网页控制台上):

2014-10-30 08:31:01.054 /task_dapau 500 4ms 0kb AppEngine-Google; (+http://code.google.com/appengine) module=default version=1
W 2014-10-30 08:31:01.052 Vai dar pau
E 2014-10-30 08:31:01.053 Traceback (most recent call last): File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/runtime/wsgi.py", line 267, in

2014-10-30 08:31:00.933 /task_dapau 500 3ms 0kb AppEngine-Google; (+http://code.google.com/appengine) module=default version=1
W 2014-10-30 08:31:00.931 Vai dar pau
E 2014-10-30 08:31:00.932 Traceback (most recent call last): File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/runtime/wsgi.py", line 267, in

2014-10-30 08:31:00.897 /enqueue_dapau 200 91ms 0kb Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36 module=default version=1

如果我查看网页控制台上的任务队列,我看到“最后一分钟运行次数 == 2”。这个行为和我在本地使用SDK时看到的情况不同:

INFO     2014-10-30 15:49:05,711 module.py:666] default: "GET /enqueue_dapau HTTP/1.1" 200 -
WARNING  2014-10-30 15:49:05,729 views.py:33] Vai dar pau
ERROR    2014-10-30 15:49:05,729 wsgi.py:279] 
Traceback (most recent call last):
  File "/home/tony/google_appengine/google/appengine/runtime/wsgi.py", line 267, in Handle
    result = handler(dict(self._environ), self._StartResponse)
  File "/home/tony/google_appengine/lib/webapp2-2.3/webapp2.py", line 1505, in __call__
    rv = self.router.dispatch(request, response)
  File "/home/tony/google_appengine/lib/webapp2-2.3/webapp2.py", line 1253, in default_dispatcher
    return route.handler_adapter(request, response)
  File "/home/tony/google_appengine/lib/webapp2-2.3/webapp2.py", line 1077, in __call__
    return handler.dispatch()
  File "/home/tony/google_appengine/lib/webapp2-2.3/webapp2.py", line 545, in dispatch
    return method(*args, **kwargs)
  File "/home/tony/work/qmag/gaetests/src/views.py", line 37, in post
    return self.get()
  File "/home/tony/work/qmag/gaetests/src/views.py", line 34, in get
    raise BaseException('Deu pau :-)')
BaseException: Deu pau :-)
INFO     2014-10-30 15:49:05,735 module.py:666] default: "POST /task_dapau HTTP/1.1" 500 -
WARNING  2014-10-30 15:49:05,735 taskqueue_stub.py:1986] Task task4 failed to execute. The task has no remaining retries. Failing permanently after 0 retries and 0 seconds

这是个bug吗?(看起来确实像)

有没有简单的解决办法呢?

暂无标签

3 个回答

-1

检查一下你的queue.yaml文件,确保它的配置是正确的。

queue:
- name: default
  retry_parameters:
    task_retry_limit: 0
3

我刚找到了一种方法,可以避免不必要的重试:

taskqueue.add(
    url='/blah',
    queue_name='myq',
    retry_options=TaskRetryOptions(task_retry_limit=0, task_age_limit=1),
    countdown=1,
)

这个重试次数限制、年龄限制和倒计时的组合就是解决问题的关键。

不过,这个方法还是不太完美,所以在谷歌修复这个bug之前,我就不把它标记为正确答案了。

3

正如文档中提到的,App Engine 有时候会重复执行一个任务。你需要编写任务时考虑到这一点,确保重复执行不会造成问题。

撰写回答