如何在Google App Engine上解析大型XML文件?
我有一个大约1MB的XML文件,存放在S3上。
我需要把这个XML文件完全解析到我的应用引擎的数据存储中。
我写了一个简单的DOM解析器,在本地运行得很好,但在网上运行时会遇到30秒超时的错误,然后就停止了。
我尝试先把XML文件下载到一个BLOB中,然后再从这个BLOB解析XML文件,但问题是BLOB的大小限制在1MB,所以这样也失败了。
我需要多次插入数据到数据存储,这导致它在30秒内失败。
我看到有人建议使用Mapper类,并保存一些在处理过程中停止的异常,但因为我对Python不太熟悉,所以不知道怎么在DOM解析器或SAX解析器中实现这个(能给个例子吗?)
现在我做的事情其实不太好,我在应用引擎外用PHP解析XML,然后通过HTTP POST把数据推送到应用引擎,使用的是一个专有的API,这样虽然能工作,但很傻,还得维护两套代码。
你能帮帮我吗?