如何向标记器添加关键字?

2024-03-29 08:59:23 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用generate_token函数标记特定代码。问题是我不能添加“打印”和“输入”作为关键字。它将它们作为名称而不是关键字返回。如何添加这些令牌?在

import token
import tokenize

try:
    from cStringIO import StringIO
except:
    from io import StringIO
file = open(filename)
characters = file.read()
file.close()
code_reader = StringIO(characters).readline

for num, (ttyp, ttok, _, _, _) in enumerate(tokenize.generate_tokens(code_reader)):
    print("%5d %15s %r" % (num, token.tok_name[ttyp], ttok))

Tags: 函数fromimporttokencode关键字numgenerate
1条回答
网友
1楼 · 发布于 2024-03-29 08:59:23

tokenize模块不涉及关键字。所有关键字都作为NAME返回,然后您必须决定哪些是关键字,通常是通过使用keyword模块。不过,如果你愿意的话,你可以用其他方法。在

相关问题 更多 >