使用Python csv.reader从文本文件中去除html格式">

Question

我有一个文本文件，里面用分号（;）来分隔内容。问题是，文件里有一些HTML格式的文本，比如>，这就导致了分号的使用出现了问题。 这个文本文件很大，我也没有这些HTML字符串的列表，里面有很多不同的例子，比如$amp;。我想知道怎么用Python把它们全部去掉。 这个文件里有名字、地址、电话号码和其他一些字段。我在找一个叫做 crap.html.remove(textfile) 的模块。

Answer 1

在大多数Unix系统上（包括你的Mac OS X），你可以用下面的命令来重新编码输入的文本文件：

recode html.. file_with_html.txt

这个命令会把>替换成">"，等等。

你也可以通过Python的子进程模块来调用这个命令，比如说。

Answer 2

看看这个代码，来自这里:

import re, htmlentitydefs

##
# Removes HTML or XML character references and entities from a text string.
#
# @param text The HTML (or XML) source text.
# @return The plain text, as a Unicode string, if necessary.

def unescape(text):
    def fixup(m):
        text = m.group(0)
        if text[:2] == "&#":
            # character reference
            try:
                if text[:3] == "&#x":
                    return unichr(int(text[3:-1], 16))
                else:
                    return unichr(int(text[2:-1]))
            except (ValueError, OverflowError):
                pass
        else:
            # named entity
            try:
                text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
            except KeyError:
                pass
        return text # leave as is
    return re.sub("&#?\w+;", fixup, text)

当然，这段代码只处理了HTML实体。你的文本中可能还有其他的分号，这会影响你的CSV解析器。不过我想你应该已经知道这一点了……

更新: 添加了对可能出现的OverflowError的处理。

Answer 3

最快的方法可能是使用一个没有文档说明但目前很稳定的 unescape 方法，这个方法在 HTMLParser 里可以找到：

import HTMLParser
s= HTMLParser.HTMLParser().unescape(s)

需要注意的是，这个方法输出的结果一定是一个Unicode字符串，所以如果里面有任何非ASCII的字节，你需要先用 s.decode(encoding) 来处理一下。