没有项目描述
pascal-tokenizer的Python项目详细描述
pypascaltokenizer
=====
python 3的模块。它对pascal代码进行标记化（计划支持完整的delphi和freepascal语法）。
token struct
----
>token保存为4元组（text、begin、end、final）：
*text:string with token text
*begin:position of token start，tuple（y，x），其中，行中基于y-0的行索引和基于x-0的字符索引
*结束：标记结束后的位置，元组（y，x）
*最终：bool，如果是最后一个标记，则为true
获取下一个标记，但不要更改结束位置
*是结束的（）：检查文本是否结束
class pastokenizerstack
=-
*\uu init（lines，comments=true）：params：源代码字符串列表；“comment s”还允许获取注释令牌（否则令牌赋予器将跳过它们）
*push（s）：push token to stack
*pop（）：pop（get and delete）token from stack
*read_last（）：read（get但不删除）top token from stack
*is_ended（）：检查堆栈是否结束
PastokenizerParallelStack的后代，它使用线程来解析整个文件。在销毁它之前，您必须调用stop（）。
*（line，comment s=true，qlong=1000）：附加参数：内部队列缓冲区的大小
helper函数来分析令牌文本。
*是指名称：检查有效标识符（也可以是保留字）。
*是指注释：检查有效注释。
*is_string（s）：检查字符串常量。
author
==
artem gavrilov（在github上@artem31231212）
=====
python 3的模块。它对pascal代码进行标记化（计划支持完整的delphi和freepascal语法）。
token struct
----
>token保存为4元组（text、begin、end、final）：
*text:string with token text
*begin:position of token start，tuple（y，x），其中，行中基于y-0的行索引和基于x-0的字符索引
*结束：标记结束后的位置，元组（y，x）
*最终：bool，如果是最后一个标记，则为true
获取下一个标记，但不要更改结束位置
*是结束的（）：检查文本是否结束
class pastokenizerstack
=-
*\uu init（lines，comments=true）：params：源代码字符串列表；“comment s”还允许获取注释令牌（否则令牌赋予器将跳过它们）
*push（s）：push token to stack
*pop（）：pop（get and delete）token from stack
*read_last（）：read（get但不删除）top token from stack
*is_ended（）：检查堆栈是否结束
PastokenizerParallelStack的后代，它使用线程来解析整个文件。在销毁它之前，您必须调用stop（）。
*（line，comment s=true，qlong=1000）：附加参数：内部队列缓冲区的大小
helper函数来分析令牌文本。
*是指名称：检查有效标识符（也可以是保留字）。
*是指注释：检查有效注释。
*is_string（s）：检查字符串常量。
author
==
artem gavrilov（在github上@artem31231212）
欢迎加入QQ群-->： 979659372
