擅长:python、mysql、java
<p>你的设计让爬行成圈。例如,有一个页面<a href="http://www.lsbu.ac.uk/business-and-partners/business" rel="nofollow">http://www.lsbu.ac.uk/business-and-partners/business</a>,打开时包含指向“<a href="http://www.lsbu.ac.uk/business-and-partners/partners" rel="nofollow">http://www.lsbu.ac.uk/business-and-partners/partners</a>”的链接,而该页面又包含指向第一个页面的链接。因此,你无限期地绕圈子。在</p>
<p>为了克服这个问题,您需要创建更好的规则,消除循环引用。
而且,您定义了两个相同的规则,这是不需要的。如果你想要<code>follow</code>你可以把它放在同一个规则上,你不需要一个新的规则。在</p>