获取网站词频统计的最佳方法？或者是网站的一部分？

Question

很简单，我只是在寻找一个简单的方法，从一个给定的网站，或网站的一个部分提取词频。在

我还对计算整个网站中两个给定单词之间的平均距离感兴趣。用文字表示的距离单位。在

我之所以问这个问题，是因为我很坦率地说，我还没有找到多少能让我凭直觉执行这样一项任务的信息。我没有任何网络爬虫或刮擦的经验。在

谢谢（我之前问过这个问题，但形式不太好）

Answer 1

您可以尝试使用Scrapy。它是一个非常强大的工具，用于废弃网站，但可能需要正则表达式和XPath的知识。尝试跟随tutorial。在