关于标记化.py

Question

在python2.x中，tokenize（）函数有两个参数，即“readline”和“tokeneater”。第二个参数负责tokenize（）的输出机制，并为每个令牌调用一次。现在我们知道在python3.x中第二个参数'tokeneater'不存在。python3.x中的输出机制是如何处理的？你知道吗

Answer 1

在python3.x中，tokenize生成一个5元组流作为其输出，就像python2.x的generate_tokens一样。你知道吗