通过Python正则表达式抓取网页

Question

抱歉，我刚接触HTML，请理解我的问题可能很简单。

我想用Python建立一个简单的搜索引擎。

为此，我首先需要建立一个爬虫来获取链接的URL。

我想用正则表达式来提取这些链接的URL。

所以我学习了一下，但我不知道HTML中链接的确切模式是什么。

from urllib import urlopen
import re

webPage = urlopen('http://web.cs.dartmouth.edu/').read()
linkedPage = re.findall(r'what should be filled in here?', webPage)

相关问题：

• 使用Scrapy爬取多个域名的最佳方法是什么？
• 在Python中获取HTML代码的部分作为新字符串
• 使用Beautiful Soup [Python] 从表格中提取文本
• 带子模式例外的正则表达式模式（Python）
• 编写Python正则表达式以选择HTML列表项的子集
• 用Ajax解析包含JSON的HTML
• 抓取博客内容
• 在用正则表达式查找HTML文档内容后，如何有效地使用lxml？

Answer 1

有一些专门用来解析HTML的工具，这些工具叫做 HTML解析器。

比如，使用 BeautifulSoup：

from urllib2 import urlopen
from bs4 import BeautifulSoup

soup = BeautifulSoup(urlopen('http://web.cs.dartmouth.edu/'))
for article in soup.select('div.view-content article'):
    print article.text

这个代码可以打印出页面上的所有文章：

Prof Sean Smith receives best paper of 2014 award
...
Lorenzo Torresani wins the Google Faculty Research Award
...

另外，建议避免使用正则表达式来解析HTML，原因可以参考以下链接：

• 正则表达式匹配打开的标签，除了XHTML自包含标签