我正在使用generate_token函数标记特定代码。问题是我不能添加“打印”和“输入”作为关键字。它将它们作为名称而不是关键字返回。如何添加这些令牌?在
import token
import tokenize
try:
from cStringIO import StringIO
except:
from io import StringIO
file = open(filename)
characters = file.read()
file.close()
code_reader = StringIO(characters).readline
for num, (ttyp, ttok, _, _, _) in enumerate(tokenize.generate_tokens(code_reader)):
print("%5d %15s %r" % (num, token.tok_name[ttyp], ttok))
tokenize
模块不涉及关键字。所有关键字都作为NAME返回,然后您必须决定哪些是关键字,通常是通过使用keyword
模块。不过,如果你愿意的话,你可以用其他方法。在相关问题 更多 >
编程相关推荐