如何使用ElementTree解析HTML来查找特定的RegEx？

2024-04-18 12:57:49 发布

您现在位置：Python中文网/ 问答频道 /正文
287 3

使用Python2.7.6和ElementTree从文件系统加载/解析HTML文件，然后遍历该文件，将特定的正则表达式存储到数据结构中。

因此，在我的项目文件夹中，我有一个名为person.HTML的HTML文件：

<!DOCTYPE html>
<html>
    <body>
        <ul>
            <li>Name: $name</li>
            <li>Age: $age</li>
        </ul>
    </body> 
</html>

到目前为止，这是我的Python脚本（main.py）：

#!/usr/bin/env python
import web
import xml.etree.ElementTree as ElementTree

tree = ET.parse(person.html)

问题：

  1. 如何使用以$（例如$name和$age）开头的RegEx或ElementTree值进行解析？

  2. 如何将这些值存储到将来可以遍历的数据结构中？


Tags： 文件项目nameimport文件夹数据结构agehtml
3条回答
网友
1楼 · 编辑于 2024-04-18 12:57:49

lxml用于按标记搜索html。例如，如果要定位所有<li>标记并获取其文本：

import xml.etree.ElementTree as et

tree = et.parse('data.html')
html_tag = tree.getroot()

for li in html_tag.iter('li'):
    text = li.text
    print(text)

--output:--
Name: $name
Age: $age

如果目标文本可以位于任何标记中，则可以执行以下操作：

import xml.etree.ElementTree as et
import re

tree = et.parse('data.html')
html_tag = tree.getroot()

pattern = r"""
    \$
    .*?
    \b
"""

for tag in html_tag.iter('*'):  # '*' => all tags
    text = tag.text.strip()

    if text: 
        match_list = re.findall(pattern, text, flags=re.X)
        print (match_list)

--output:--
['$name']
['$age']

How do I store these values into a data structure that I could iterate through in the future?

您可以使用shelve模块：

$ cat data.html
<!DOCTYPE html>
<html>
    <body>
        <ul>
            <li>Name: $name</li>
            <li>Age: $age</li>
            <li>Dogs: $dog1, $dog2</li>     
        </ul>
    </body> 
</html>

import xml.etree.ElementTree as et
import re
import shelve
import collections as coll

tree = et.parse('data.html')
html_tag = tree.getroot()

pattern = r"""
    \$    #Match a literal $ sign...
    .+?   #followed by any character, 1 or more times, non-greedy
    \b    #followed by the (first) word boundary
"""

results = coll.defaultdict(list)

for tag in html_tag.iter('*'):
    text = tag.text.strip()

    if text: 
        match_list = re.findall(pattern, text, flags=re.X)
        if match_list:
            results['data.html'].extend(match_list)


print(results)

with shelve.open('mydb.db') as db:
    db['html vars'] = results

with shelve.open('mydb.db') as db:
    for key, val in db['html vars'].items():
        print("{}: {}".format(key, val))

--output:--
defaultdict(<class 'list'>, {'data.html': ['$name', '$age', '$dog1', '$dog2']})

data.html: ['$name', '$age', '$dog1', '$dog2']

如果您的最终目标是替换html中的那些变量，那么您的格式符合python的template格式：

import string

with open('data.html') as f:
    template = string.Template(f.read())


values = {
    'name': 'socal_javaguy',
    'age': 25,
    'dog1': 'Rover',
    'dog2': 'Jane',
}

results = template.substitute(values)
print(results)

--output:--
<!DOCTYPE html>
<html>
    <body>
        <ul>
            <li>Name: socal_javaguy</li>
            <li>Age: 25</li>
            <li>Dogs: Rover, Jane</li>     
        </ul>
    </body> 
</html>
网友
2楼 · 编辑于 2024-04-18 12:57:49

感谢Kevin&7stud，我让它像这样工作：

#!/usr/bin/env python 
import re

with open("person.html", "r") as html_file:
    data=html_file.read()   
list_of_strings = re.findall(r'\$[A-Za-z]+[A-Za-z0-9]*', data)
print list_of_strings

输出：

[$name, $age]
网友
3楼 · 编辑于 2024-04-18 12:57:49

像这样使用RegEx怎么样：

>>> html = """
... <!DOCTYPE html>
... <html>
...     <body>
...         <ul>
...             <li>Name: $name</li>
...             <li>Age: $age</li>
...         </ul>
...     </body> 
... </html>
... """
>>> import re
>>> re.findall(r'\$\w*', html)
['$name', '$age']
>>>

^{}返回一个列表，以便您可以这样使用它们：

>>> l = re.findall(r'\$\w*', html)
>>> l
['$name', '$age']
>>> l[0]
'$name'
>>> l[1]
'$age'
>>>

相关问题 更多 >

    编程相关推荐