Windows cmd 编码更改导致 Python 崩溃
首先，我把Windows的命令提示符编码改成了utf-8，然后运行了Python解释器：
chcp 65001
python
接着，我尝试在里面打印一个unicode字符串，但当我这样做时，Python以一种奇怪的方式崩溃了（我只看到命令提示符在同一个窗口里）。
>>> import sys
>>> print u'ëèæîð'.encode(sys.stdin.encoding)
有没有人知道为什么会这样，以及怎么才能让它正常工作呢？
更新：sys.stdin.encoding返回的是'cp65001'
更新2：我突然想到，这个问题可能和utf-8使用的多字节字符集有关（kcwu提到的这个观点很不错）。我尝试用'windows-1250'运行整个例子，结果得到了'ëeaî?'。因为Windows-1250使用的是单字符集，所以它能处理那些它能理解的字符。不过，我还是不知道怎么让'utf-8'在这里正常工作。
更新3：哦，我发现这是一个已知的Python错误。我猜发生的情况是，Python把命令提示符的编码'cp65001'复制到sys.stdin.encoding，并试图把它应用到所有输入上。由于它无法理解'cp65001'，所以在遇到包含非ascii字符的输入时就崩溃了。
10 个回答
7
对我来说，在运行Python程序之前设置这个环境变量是有效的：
set PYTHONIOENCODING=utf-8
48
设置PYTHONIOENCODING这个系统变量：
> chcp 65001
> set PYTHONIOENCODING=utf-8
> python example.py
Encoding is utf-8
example.py的代码很简单：
import sys
print "Encoding is", sys.stdin.encoding
86
更新：在Python 3.6或更高版本中，Windows控制台可以直接打印Unicode字符串，没问题。
在Python 3.8或更高版本中，之前提到的底层错误已经被修复，具体是通过将 cp65001设置为utf-8的别名，正如Boris Verkhovskiy的回答所指出的。
所以，简单来说，升级到最新的Python版本就可以了。如果需要的话，我建议使用 2to3 来更新你的代码到Python 3.x，并且放弃对Python 2.x的支持。请注意，自从 2021年12月以来，Python 3.7之前的任何版本（包括Python 2.7）都没有安全支持。
如果你 真的 还需要支持早期版本的Python（包括Python 2.7），可以使用 https://github.com/Drekin/win-unicode-console，这个项目最初是基于这个回答中的代码，使用了 WriteConsoleW。
之前的回答
下面是如何在不修改 encodings\aliases.py 的情况下将 cp65001 别名为UTF-8的方法：
import codecs
codecs.register(lambda name: codecs.lookup('utf-8') if name == 'cp65001' else None)
（在我看来，不用太在意关于 cp65001 和UTF-8不完全相同的争论，具体可以看 http://bugs.python.org/issue6058#msg97731。它的设计就是要相同，尽管微软的编码器有一些小问题。）
这里有一些代码（为Tahoe-LAFS编写，tahoe-lafs.org），可以让控制台输出在 chcp 代码页的情况下也能正常工作，并且可以读取Unicode命令行参数。感谢 Michael Kaplan 提出的这个解决方案。如果stdout或stderr被重定向，它将输出UTF-8。如果你想要字节顺序标记（Byte Order Mark），需要手动写入。
[编辑：这个版本使用了 WriteConsoleW，而不是MSVC运行库中的 _O_U8TEXT标志，因为后者有bug。虽然 WriteConsoleW 也有一些问题，但相对来说少一些。]
import sys
if sys.platform == "win32":
import codecs
from ctypes import WINFUNCTYPE, windll, POINTER, byref, c_int
from ctypes.wintypes import BOOL, HANDLE, DWORD, LPWSTR, LPCWSTR, LPVOID
original_stderr = sys.stderr
# If any exception occurs in this code, we'll probably try to print it on stderr,
# which makes for frustrating debugging if stderr is directed to our wrapper.
# So be paranoid about catching errors and reporting them to original_stderr,
# so that we can at least see them.
def _complain(message):
print >>original_stderr, message if isinstance(message, str) else repr(message)
# Work around <http://bugs.python.org/issue6058>.
codecs.register(lambda name: codecs.lookup('utf-8') if name == 'cp65001' else None)
# Make Unicode console output work independently of the current code page.
# This also fixes <http://bugs.python.org/issue1602>.
# Credit to Michael Kaplan <http://www.siao2.com/2010/04/07/9989346.aspx>
# and TZOmegaTZIOY
# <http://stackoverflow.com/questions/878972/windows-cmd-encoding-change-causes-python-crash/1432462#1432462>.
try:
# <http://msdn.microsoft.com/en-us/library/ms683231(VS.85).aspx>
# HANDLE WINAPI GetStdHandle(DWORD nStdHandle);
# returns INVALID_HANDLE_VALUE, NULL, or a valid handle
#
# <http://msdn.microsoft.com/en-us/library/aa364960(VS.85).aspx>
# DWORD WINAPI GetFileType(DWORD hFile);
#
# <http://msdn.microsoft.com/en-us/library/ms683167(VS.85).aspx>
# BOOL WINAPI GetConsoleMode(HANDLE hConsole, LPDWORD lpMode);
GetStdHandle = WINFUNCTYPE(HANDLE, DWORD)(("GetStdHandle", windll.kernel32))
STD_OUTPUT_HANDLE = DWORD(-11)
STD_ERROR_HANDLE = DWORD(-12)
GetFileType = WINFUNCTYPE(DWORD, DWORD)(("GetFileType", windll.kernel32))
FILE_TYPE_CHAR = 0x0002
FILE_TYPE_REMOTE = 0x8000
GetConsoleMode = WINFUNCTYPE(BOOL, HANDLE, POINTER(DWORD))(("GetConsoleMode", windll.kernel32))
INVALID_HANDLE_VALUE = DWORD(-1).value
def not_a_console(handle):
if handle == INVALID_HANDLE_VALUE or handle is None:
return True
return ((GetFileType(handle) & ~FILE_TYPE_REMOTE) != FILE_TYPE_CHAR
or GetConsoleMode(handle, byref(DWORD())) == 0)
old_stdout_fileno = None
old_stderr_fileno = None
if hasattr(sys.stdout, 'fileno'):
old_stdout_fileno = sys.stdout.fileno()
if hasattr(sys.stderr, 'fileno'):
old_stderr_fileno = sys.stderr.fileno()
STDOUT_FILENO = 1
STDERR_FILENO = 2
real_stdout = (old_stdout_fileno == STDOUT_FILENO)
real_stderr = (old_stderr_fileno == STDERR_FILENO)
if real_stdout:
hStdout = GetStdHandle(STD_OUTPUT_HANDLE)
if not_a_console(hStdout):
real_stdout = False
if real_stderr:
hStderr = GetStdHandle(STD_ERROR_HANDLE)
if not_a_console(hStderr):
real_stderr = False
if real_stdout or real_stderr:
# BOOL WINAPI WriteConsoleW(HANDLE hOutput, LPWSTR lpBuffer, DWORD nChars,
# LPDWORD lpCharsWritten, LPVOID lpReserved);
WriteConsoleW = WINFUNCTYPE(BOOL, HANDLE, LPWSTR, DWORD, POINTER(DWORD), LPVOID)(("WriteConsoleW", windll.kernel32))
class UnicodeOutput:
def __init__(self, hConsole, stream, fileno, name):
self._hConsole = hConsole
self._stream = stream
self._fileno = fileno
self.closed = False
self.softspace = False
self.mode = 'w'
self.encoding = 'utf-8'
self.name = name
self.flush()
def isatty(self):
return False
def close(self):
# don't really close the handle, that would only cause problems
self.closed = True
def fileno(self):
return self._fileno
def flush(self):
if self._hConsole is None:
try:
self._stream.flush()
except Exception as e:
_complain("%s.flush: %r from %r" % (self.name, e, self._stream))
raise
def write(self, text):
try:
if self._hConsole is None:
if isinstance(text, unicode):
text = text.encode('utf-8')
self._stream.write(text)
else:
if not isinstance(text, unicode):
text = str(text).decode('utf-8')
remaining = len(text)
while remaining:
n = DWORD(0)
# There is a shorter-than-documented limitation on the
# length of the string passed to WriteConsoleW (see
# <http://tahoe-lafs.org/trac/tahoe-lafs/ticket/1232>.
retval = WriteConsoleW(self._hConsole, text, min(remaining, 10000), byref(n), None)
if retval == 0 or n.value == 0:
raise IOError("WriteConsoleW returned %r, n.value = %r" % (retval, n.value))
remaining -= n.value
if not remaining:
break
text = text[n.value:]
except Exception as e:
_complain("%s.write: %r" % (self.name, e))
raise
def writelines(self, lines):
try:
for line in lines:
self.write(line)
except Exception as e:
_complain("%s.writelines: %r" % (self.name, e))
raise
if real_stdout:
sys.stdout = UnicodeOutput(hStdout, None, STDOUT_FILENO, '<Unicode console stdout>')
else:
sys.stdout = UnicodeOutput(None, sys.stdout, old_stdout_fileno, '<Unicode redirected stdout>')
if real_stderr:
sys.stderr = UnicodeOutput(hStderr, None, STDERR_FILENO, '<Unicode console stderr>')
else:
sys.stderr = UnicodeOutput(None, sys.stderr, old_stderr_fileno, '<Unicode redirected stderr>')
except Exception as e:
_complain("exception %r while fixing up sys.stdout and sys.stderr" % (e,))
# While we're at it, let's unmangle the command-line arguments:
# This works around <http://bugs.python.org/issue2128>.
GetCommandLineW = WINFUNCTYPE(LPWSTR)(("GetCommandLineW", windll.kernel32))
CommandLineToArgvW = WINFUNCTYPE(POINTER(LPWSTR), LPCWSTR, POINTER(c_int))(("CommandLineToArgvW", windll.shell32))
argc = c_int(0)
argv_unicode = CommandLineToArgvW(GetCommandLineW(), byref(argc))
argv = [argv_unicode[i].encode('utf-8') for i in xrange(0, argc.value)]
if not hasattr(sys, 'frozen'):
# If this is an executable produced by py2exe or bbfreeze, then it will
# have been invoked directly. Otherwise, unicode_argv[0] is the Python
# interpreter, so skip that.
argv = argv[1:]
# Also skip option arguments to the Python interpreter.
while len(argv) > 0:
arg = argv[0]
if not arg.startswith(u"-") or arg == u"-":
break
argv = argv[1:]
if arg == u'-m':
# sys.argv[0] should really be the absolute path of the module source,
# but never mind
break
if arg == u'-c':
argv[0] = u'-c'
break
# if you like:
sys.argv = argv
最后，确实可以满足ΤΖΩΤΖΙΟΥ的愿望，使用DejaVu Sans Mono字体，这确实是个很棒的字体，来作为控制台字体。
你可以在 '命令窗口中可用字体的必要标准' Microsoft KB 找到关于字体要求和如何为Windows控制台添加新字体的信息。
但基本上，在Vista（可能在Win7也适用）上：
- 在
HKEY_LOCAL_MACHINE_SOFTWARE\Microsoft\Windows NT\CurrentVersion\Console\TrueTypeFont下，将"0"设置为"DejaVu Sans Mono"; - 在
HKEY_CURRENT_USER\Console下的每个子键中，将"FaceName"设置为"DejaVu Sans Mono"。
在XP上，可以查看LockerGnome论坛中的主题 '更改命令提示符字体？'。