Python中是否有快速的XML解析器可以让我获取流中标签开始的字节偏移？

Question

我正在处理一些可能非常大的XML文件，这些文件里包含了我项目中的复杂追踪信息。

我想为这些XML文件建立索引，这样就可以快速找到XML文档的某些部分，而不需要把整个文件都加载到内存中。

比如，如果我创建了一个“架子”索引，里面记录了“作者乔的书”在文件中的位置，比如说是[22322, 35446, 54545]，那么我就可以像打开普通文本文件一样打开这个XML文件，直接跳到这些位置，然后把这些内容交给一个可以处理文件或字符串的DOM解析器。

不过，我还没有搞明白的是，如何快速解析XML并创建这样的索引。

所以我需要一个快速的SAX解析器，它能让我找到文件中标签的起始位置和开始事件。这样我就可以解析XML的某个子部分，并记录下它在文档中的起始位置，提取关键信息，并把这些关键信息和位置存储到架子索引里。

Answer 1

因为定位器返回的是行号和列号，而不是偏移量，所以你需要做一些额外的处理来跟踪行的结束位置——下面是一个简化的例子（可能会有一些小错误；-）...

import cStringIO
import re
from xml import sax
from xml.sax import handler

relinend = re.compile(r'\n')

txt = '''<foo>
            <tit>Bar</tit>
        <baz>whatever</baz>
     </foo>'''
stm = cStringIO.StringIO(txt)

class LocatingWrapper(object):
    def __init__(self, f):
        self.f = f
        self.linelocs = []
        self.curoffs = 0

    def read(self, *a):
        data = self.f.read(*a)
        linends = (m.start() for m in relinend.finditer(data))
        self.linelocs.extend(x + self.curoffs for x in linends)
        self.curoffs += len(data)
        return data

    def where(self, loc):
        return self.linelocs[loc.getLineNumber() - 1] + loc.getColumnNumber()

locstm = LocatingWrapper(stm)

class Handler(handler.ContentHandler):
    def setDocumentLocator(self, loc):
        self.loc = loc
    def startElement(self, name, attrs):
        print '%s@%s:%s (%s)' % (name, 
                                 self.loc.getLineNumber(),
                                 self.loc.getColumnNumber(),
                                 locstm.where(self.loc))

sax.parse(locstm, Handler())

当然，你不需要一直保存所有的行位置数据——为了节省内存，你可以删除一些“旧”的数据（也就是比最新查询的行位置更早的那些），但这样的话你就需要把行位置数据变成字典等其他结构。