Python PLY 解析器语法错误

Question

大家好，

我正在用 python PLY 写一个非常简单的解析器。这个解析器大部分时间能正常工作，但在处理很多输入行时，我会遇到来自 yacc 的语法错误。下面是我稍微修改过的词法分析器和解析器代码，以便于测试：

tokens = ('VAR', 'NUMBER', 'CLOSE', 'JUNK')

# Tokens

t_VAR     = r'%[mM]\['
t_CLOSE   = r'\]'
t_JUNK    = r'.'

# Ignored characters
t_ignore = " \t\r"

def t_NUMBER(t):
    r'\d+'
    try:
        t.value = int(t.value)
    except ValueError:
        print("Integer value too large %d", t.value)
        t.value = 0
    return t

def t_newline(t):
    r'\n+'
    t.lexer.lineno += t.value.count("\n")

def t_error(t):
    print("Illegal character '%s'" % t.value[0])
    t.lexer.skip(1)

# Build the lexer
import ply.lex as lex
lex.lex()

# Parsing rules

def p_statement(p):
    '''statement : field'''
    try:
        print p[1]
    except IndexError:
        pass

def p_trash(p):
    '''statement : JUNK'''
    pass

def p_field(p):
    '''field : VAR NUMBER CLOSE'''
    #print p[1], p[2], p[3]
    p[0] = p[2]

def p_error(p):
    print("Syntax error at '%s'" % repr(p)) #p.value)

import ply.yacc as yacc
yacc.yacc()

举个例子：当我运行 yacc.parse('.set %m[702] $substr($currentlength,2,$currentpg)') 时，输出结果是：

Syntax error at 'LexToken(JUNK,'s',1,1)'
Syntax error at 'LexToken(JUNK,'$',1,13)'

我希望它只输出 702。

Answer 1

你的顶层规则需要一个单独的语句。p_trash 匹配到第一个 '.' 后就返回了一个语句，但没有顶层规则让它继续执行。你可以这样做：

def p_junk(p):
    '''statement | JUNK statement'''

你也可以这样做（并创建一个语句列表）：

def p_statements(p):
    '''statements | statement statements
                  | empty'''