Unicode解码错误,无效的续续字符

2024-05-08 11:44:00 发布

您现在位置:Python中文网/ 问答频道 /正文

为什么下面的项目失败了?为什么它能成功地与“拉丁-1”编解码器?

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

结果:

 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:\Python27\lib\encodings\utf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte

Tags: ofto项目intest编解码器linebyte
2条回答

在二进制中,0xE9看起来像1110 1001。如果您阅读了UTF-8 on Wikipedia,您将看到这样一个字节后面必须跟两个10xx xxxx形式的字节。例如:

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

但这只是机械原因的例外。在本例中,有一个字符串几乎肯定是用拉丁语1编码的。你可以看到UTF-8和拉丁语1的不同之处:

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

(注意,这里我使用的是Python 2和3的混合表示。输入在任何版本的Python中都有效,但是Python解释器不太可能以这种方式同时显示unicode和字节字符串。)

当我试图用pandas read_csv方法打开csv文件时,也出现了同样的错误。

解决方案是将编码改为“拉丁-1”:

pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')

相关问题 更多 >