网页内容的主题/关键词提取
我想找一个系统，可以从一个网页中提取主题或者简单的关键词，只从指定的页面提取，不去跟踪里面的链接。
我要分析的页面来自不同的网站，特别是我想分析一个人分享在Facebook上的链接，并从这些页面中提取主题或关键词。
我想用Python来实现，但任何建议都很欢迎。
非常感谢。
1 个回答
3
LXML是一个用于处理XML的工具包，它是Python和C语言库libxml2以及libxslt的结合。这个工具包的特别之处在于，它把这两个库的快速处理能力和完整的XML功能，结合成了一个简单易用的Python接口。这个接口大部分和大家熟悉的ElementTree API相似，但功能更强大。
Beautiful Soup是一个用于解析HTML文档的Python库。它可以处理一些格式不太规范的HTML，比如没有闭合的标签，因此得名“标签汤”。这个库会为解析后的页面创建一个解析树，可以用来从HTML中提取数据，所以它在网络爬虫中非常有用——也就是从网站上提取数据。
Scrapy是一个快速的高级网络爬虫框架，用于爬取网站并从网页中提取结构化数据。它可以用于很多不同的目的，从数据挖掘到监控和自动化测试都可以用到。
超文本查询语言（HTQL）是一种用于查询和转换HTML、XML和纯文本文档的语言。HTQL是用C++开发的，具有快速高效的数据提取算法。它提供了COM和Python接口，可以在JavaScript、Visual Basic、.NET、ASP和Python应用中使用。
在Python中进行有状态的程序化网页浏览。