Web爬虫程序无法使用Python

Question

我有一个简单的网络爬虫的问题，当我运行下面的脚本，它没有迭代的网站，它没有给我任何结果。在

我得到的是：

1 Visiting: https://www.mongodb.com/
Word never found

Process finished with exit code 0

有什么提示可以解释为什么不能正常工作吗？{I使用下面的示例}

代码如下：

^{pr2}$

Answer 1

首先，编辑“内容类型检查器”行以：

if response.getheader('Content-Type') == 'text/html; charset=utf-8':

正如@glibdud建议的那样。在

如果您希望您的程序检查所有链接，直到达到maxPages或pagesTovisit=[]，只需删除行中已找到单词的and条件：

^{pr2}$

收件人：

while numberVisited < maxPages and pagesToVisit != []: