Beautiful Soup中的UnicodeEncodeError（Python 2.7.1）

Question

我在这里使用的是Python 2.7.1版本的Beautiful Soup 3.2。

最近我一直在尝试让一些简单的东西正常工作，但这似乎有点棘手：

我做了以下操作：

temp=BeautifulSoup(urllib2.urlopen(urlList[1], None,15))

但是，我遇到了这个错误：

File "/home/foo/k/kat/BeautifulSoup.py", line 1519, in __init__
BeautifulStoneSoup.__init__(self, *args, **kwargs)
File "/home/foo/k/kat/BeautifulSoup.py", line 1144, in __init__
self._feed(isHTML=isHTML)
File "/home/foo/k/kat/BeautifulSoup.py", line 1186, in _feed
SGMLParser.feed(self, markup)
File "/usr/lib/python2.7/sgmllib.py", line 104, in feed
self.goahead(0)
File "/usr/lib/python2.7/sgmllib.py", line 143, in goahead
k = self.parse_endtag(i)
File "/usr/lib/python2.7/sgmllib.py", line 320, in parse_endtag
self.finish_endtag(tag)
File "/usr/lib/python2.7/sgmllib.py", line 358, in finish_endtag
method = getattr(self, 'end_' + tag)
UnicodeEncodeError: 'ascii' codec can't encode character u'\xfa' in
position 4: ordinal not in range(128)

如果我再运行一次同样的循环，有时候我还会得到：

File "/home/foo/k/kat/BeautifulSoup.py", line 1519, in __init__
BeautifulStoneSoup.__init__(self, *args, **kwargs)
File "/home/foo/k/kat/BeautifulSoup.py", line 1144, in
__init__
self._feed(isHTML=isHTML)
File "/home/foo/k/kat/BeautifulSoup.py", line 1186, in _feed
SGMLParser.feed(self, markup)
File "/usr/lib/python2.7/sgmllib.py", line 104, in feed
self.goahead(0)
File "/usr/lib/python2.7/sgmllib.py", line 143, in goahead
k = self.parse_endtag(i)
File "/usr/lib/python2.7/sgmllib.py", line 320, in parse_endtag
self.finish_endtag(tag)
File "/usr/lib/python2.7/sgmllib.py", line 358, in finish_endtag
method = getattr(self, 'end_' + tag)
UnicodeEncodeError: 'ascii' codec can't encode characters in position
4-5: ordinal not in range(128)

我该如何避免这些错误？显然，sgmllib.py有问题。

我尝试了一些来自Stack Overflow的解决方案：

*] 尝试了 soup = BeautifulSoup(page, fromEncoding=<页面的编码>) 结果：不行，还是同样的错误。

*] 尝试把我的sgmllib.py从2.7.2版本升级到2.7.1版本 结果：不行，还是同样的错误。

*] 尝试了 html = BeautifulSoup(page.encode('utf-8')) 结果：不行，还是同样的错误。

我会很感激任何关于如何解决这个编码错误的建议。

Answer 1

在你的模块里试试这个代码

if __name__ == "__main__":
    reload(sys)
    sys.setdefaultencoding("utf-8")