lexery 1.1.0

莱克斯利

基于正则表达式的简单lexer。

灵感来自https://eli.thegreenplace.net/2013/06/25/regex-based-lexical-analysis-in-python-and-javascript

用法

您定义词法规则，词汇表将它们作为查找表进行迭代匹配：

>>>importlexery>>>importre>>>text='crop \t   ( 20, 30, 40, 10 ) ;'>>>>>>lexer=lexery.Lexer(...rules=[...lexery.Rule(identifier='identifier',...pattern=re.compile(r'[a-zA-Z_][a-zA-Z_]*')),...lexery.Rule(identifier='lpar',pattern=re.compile(r'\(')),...lexery.Rule(identifier='number',pattern=re.compile(r'[1-9][0-9]*')),...lexery.Rule(identifier='rpar',pattern=re.compile(r'\)')),...lexery.Rule(identifier='comma',pattern=re.compile(r',')),...lexery.Rule(identifier='semi',pattern=re.compile(r';'))...],...skip_whitespace=True)>>>tokens=lexer.lex(text=text)>>>asserttokens==[[...lexery.Token('identifier','crop',0,0),...lexery.Token('lpar','(',9,0),...lexery.Token('number','20',11,0),...lexery.Token('comma',',',13,0),...lexery.Token('number','30',15,0),...lexery.Token('comma',',',17,0),...lexery.Token('number','40',19,0),...lexery.Token('comma',',',21,0),...lexery.Token('number','10',23,0),...lexery.Token('rpar',')',26,0),...lexery.Token('semi',';',28,0)]]

请注意，如果文本的一部分无法匹配，则会引发一个lexery.Error：

>>>importlexery>>>importre>>>text='some-identifier ( 23 )'>>>>>>lexer=lexery.Lexer(...rules=[...lexery.Rule(identifier='identifier',pattern=re.compile(r'[a-zA-Z_][a-zA-Z_]*')),...lexery.Rule(identifier='number',pattern=re.compile(r'[1-9][0-9]*')),...],...skip_whitespace=True)>>>tokens=lexer.lex(text=text)Traceback(mostrecentcalllast):...lexery.Error:Unmatchedtextatline0andposition4:some-identifier(23)^

如果指定unmatched_identifier，则所有不匹配的字符都将累积到具有该标识符的标记中：

>>>importlexery>>>importre>>>text='some-identifier ( 23 )-'>>>>>>lexer=lexery.Lexer(...rules=[...lexery.Rule(identifier='identifier',pattern=re.compile(r'[a-zA-Z_][a-zA-Z_]*')),...lexery.Rule(identifier='number',pattern=re.compile(r'[1-9][0-9]*')),...],...skip_whitespace=True,...unmatched_identifier='unmatched')>>>tokens=lexer.lex(text=text)>>>asserttokens==[[...lexery.Token('identifier','some',0,0),...lexery.Token('unmatched','-',4,0),...lexery.Token('identifier','identifier',5,0),...lexery.Token('unmatched','(',16,0),...lexery.Token('number','23',18,0),...lexery.Token('unmatched',')-',21,0)]]

安装

• 使用pip:
安装lexery

pip3 install lexery

开发

• 查看存储库。
• 在存储库根目录中，创建虚拟环境：

python3 -m venv venv3

• 激活虚拟环境：

source venv3/bin/activate

• 安装开发依赖项：

pip3 install -e .[dev]

./precommit.py

./precommit.py  --overwrite

版本控制

我们跟着Semantic Versioning。版本x.y.z表示：

• X是主要版本（向后不兼容），
• y是次要版本（向后兼容），并且
• z是修补程序版本（向后兼容的错误修复）。