将python脚本输出输出到fi时发生Unicode错误

Question

这是代码：

print '"' + title.decode('utf-8', errors='ignore') + '",' \
      ' "' + title.decode('utf-8', errors='ignore') + '", ' \
      '"' + desc.decode('utf-8', errors='ignore') + '")'

漂亮汤3（p[0].text和p[0].prettify返回title和desc，据我所知，漂亮汤3文档是UTF-8编码的。

如果我跑

python.exe script.py > out.txt

我得到以下错误：

Traceback (most recent call last):
  File "script.py", line 70, in <module>
    '"' + desc.decode('utf-8', errors='ignore') + '")'
UnicodeEncodeError: 'ascii' codec can't encode character u'\xf8' in position 264
: ordinal not in range(128)

但是如果我跑

python.exe script.py

我没有错。只有在指定了输出文件时才会发生这种情况。

如何在输出文件中获得良好的UTF-8数据？

Answer 1

在这种情况下，Windows的行为有点复杂。您应该听取其他建议，并在内部对字符串使用unicode，并在输入期间进行解码。

对于您的问题，您需要打印编码字符串（只有您知道是哪种编码！）在stdout重定向的情况下，但是在简单屏幕输出的情况下，您必须打印unicode字符串（python或windows控制台处理到正确编码的转换）。

我建议你的脚本结构如下：

# -*- coding: utf-8 -*- 
import sys, codecs
# set up output encoding
if not sys.stdout.isatty():
    # here you can set encoding for your 'out.txt' file
    sys.stdout = codecs.getwriter('utf8')(sys.stdout)

# next, you will print all strings in unicode
print u"Unicode string ěščřžý"

更新：另请参见其他类似问题：Setting the correct encoding when piping stdout in Python