从英文到UTF8的文件编码

Question

如何在Python中将带有CRLF行结束符的非ISO扩展ASCII英语文本转换为utf-8

Answer 1

我认为linux命令unix2dos、dos2unix、iconv会有所帮助

像这样

iconv -f latin-1 -t UTF-8 latin.txt >utf8.txt

Answer 2

扩展Jishiyu的答案，可以使用uchardet来标识字符集。例如

iconv -f `uchardet a_strange_file.txt` -t UTF-8 -o the_output_file.txt a_strange_file.txt

虽然这在python中不起作用。在

Answer 3

如果为输入文件获取原始字节流，则可以decode将其utf-8。请参阅this blog post和一些python3示例。在

{1美元^