从file/sqlite数据库读取unicode字符并在Python中使用

Question

我有一个带有unicode字符的变量列表，其中一些是针对臭氧气体这样的化学物质：比如“O\u2083”。所有这些都存储在sqlite数据库中，该数据库用Python代码读取，以生成O₃。但是，当我读的时候，我得到的是“O\\u2083”。sqlite数据库是使用包含字符串“O\u2083”的csv文件创建的。我知道\u2083不是作为unicode字符存储在sqlite数据库中，而是存储为6个unicode字符（即\，u，2,0,8,3）。在这种情况下，有什么方法可以识别unicode字符吗？现在解决这个问题的第一个选择是创建一个函数来识别字符集并替换为unicode字符。有没有类似的东西已经实施了？在

Answer 1

记住一切都是字节是很重要的。要将字节拉入对您有用的内容，您需要知道在拉入数据时使用了什么编码。有太多模棱两可的情况，无法通过分析数据来确定编码。当你把所有的数据都发送出去的时候。根据您使用的是python2.x还是3.x，您将对Unicode和Python有着截然不同的体验。在

但是，您可以尝试编码并对错误执行“替换”。例如，the_string.encode("utf-8","replace")将尝试编码为utf-8，并将问题替换为?。您也可以预先预测问题字符并提前替换它们，但这很快就会变得不可管理。查看^{}类以获得更多替换选项。在