GAE Python LXML - 超过软私有内存限制

Question

我正在获取一个经过GZ压缩的LXML文件，并试图将产品信息写入数据库模型。之前我遇到了本地内存的问题，后来在StackOverflow上得到了帮助（问题链接）。现在我已经把一切都搞定并部署了，但在服务器上却出现了以下错误：

Exceeded soft private memory limit with 158.164 MB after servicing 0 requests total

我尝试了所有我知道的方法来减少内存使用，目前使用的代码如下。这个GZ压缩文件大约7MB，而解压后是80MB。在本地运行时代码一切正常。我尝试过以HTTP请求和定时任务的方式运行，但没有什么区别。现在我在想有没有什么办法可以让它更高效。

在StackOverflow上，有一些类似的问题提到了前端和后端的配置，但我对此不太熟悉。我正在使用GAE的免费版本，这个任务需要每周运行一次。任何关于如何更好地推进的建议都非常感谢。

from google.appengine.api.urlfetch import fetch
import gzip, base64, StringIO, datetime, webapp2
from lxml import etree
from google.appengine.ext import db

class GetProductCatalog(webapp2.RequestHandler):
  def get(self):
    user = XXX
    password = YYY
    url = 'URL'

    # fetch gziped file
    catalogResponse = fetch(url, headers={
        "Authorization": "Basic %s" % base64.b64encode(user + ':' + password)
    }, deadline=10000000)

    # the response content is in catalogResponse.content
    # un gzip the file
    f = StringIO.StringIO(catalogResponse.content)
    c = gzip.GzipFile(fileobj=f)
    content = c.read()

    # create something readable by lxml
    xml = StringIO.StringIO(content)

    # delete unnecesary variables
    del f
    del c
    del content

    # parse the file
    tree = etree.iterparse(xml, tag='product')

    for event, element in tree:
        if element.findtext('manufacturer') == 'New York':
            if Product.get_by_key_name(element.findtext('sku')):
                    coupon = Product.get_by_key_name(element.findtext('sku'))
                    if coupon.last_update_prov != datetime.datetime.strptime(element.findtext('lastupdated'), "%d/%m/%Y"):
                        coupon.restaurant_name = element.findtext('name')
                        coupon.restaurant_id = ''
                        coupon.address_street = element.findtext('keywords').split(',')[0]
                        coupon.address_city = element.findtext('manufacturer')
                        coupon.address_state = element.findtext('publisher')
                        coupon.address_zip = element.findtext('manufacturerid')
                        coupon.value = '$' + element.findtext('price') + ' for $' + element.findtext('retailprice')
                        coupon.restrictions = element.findtext('warranty')
                        coupon.url = element.findtext('buyurl')
                        if element.findtext('instock') == 'YES':
                            coupon.active = True
                        else:
                            coupon.active = False
                        coupon.last_update_prov = datetime.datetime.strptime(element.findtext('lastupdated'), "%d/%m/%Y")
                        coupon.put()
                    else:
                        pass
            else:
                    coupon = Product(key_name = element.findtext('sku'))
                    coupon.restaurant_name = element.findtext('name')
                    coupon.restaurant_id = ''
                    coupon.address_street = element.findtext('keywords').split(',')[0]
                    coupon.address_city = element.findtext('manufacturer')
                    coupon.address_state = element.findtext('publisher')
                    coupon.address_zip = element.findtext('manufacturerid')
                    coupon.value = '$' + element.findtext('price') + ' for $' + element.findtext('retailprice')
                    coupon.restrictions = element.findtext('warranty')
                    coupon.url = element.findtext('buyurl')
                    if element.findtext('instock') == 'YES':
                        coupon.active = True
                    else:
                        coupon.active = False

                    coupon.last_update_prov = datetime.datetime.strptime(element.findtext('lastupdated'), "%d/%m/%Y")
                    coupon.put()
        else:
            pass

        element.clear()

更新

根据保罗的建议，我实现了后端。经过一些麻烦后，它终于顺利运行了——下面是我使用的代码。

我的backends.yaml文件如下：

backends:
- name: mybackend
  instances: 10
  start: mybackend.app
  options: dynamic

而我的app.yaml文件如下：

handlers:
- url: /update/mybackend
  script: mybackend.app
  login: admin

gae lxml http requests memory management scheduled tasks backend configuration gz compression database model

GAE Python LXML - 超过软私有内存限制

2 个回答

撰写回答