Python中文
首页
教程
问答
标签
搜索
登录
注册
scrapy允许所有域
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我看到了<a href="https://stackoverflow.com/questions/6320167/python-scrapy-allowed-domains-adding-new-domains-from-database">this</a>帖子,让scrapy抓取任何不受域限制的站点。</p> <p>有没有更好的方法可以做到这一点,比如在allowed domains变量中使用正则表达式,比如-</p> <pre><code>allowed_domains = ["*"] </code></pre> <p>我希望有其他的方法,而不是侵入到scrapy框架来做这件事。</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>你应该激活离线的middlware,这是一个在scrapy中内置的蜘蛛中间件。 有关详细信息<a href="http://doc.scrapy.org/en/latest/topics/spider-middleware.html" rel="nofollow">http://doc.scrapy.org/en/latest/topics/spider-middleware.html</a></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在Excel中读取公式并将其转换为Python中的计算?
2 回答
如何在excel中读取嵌入的excel,并将嵌入文件中的信息存储在主excel文件中?
4 回答
如何在Excel中返回未知列长度的非空顶行列值?
7 回答
如何在excel中选择数据列?
3 回答
如何在Excel中通过脚本自动为一列中的所有单元格创建公共别名
2 回答
如何在excel中高效格式化范围AttributeError:“tuple”对象没有属性“fill”
1 回答
如何在excel单元格中编写python函数
7 回答
如何在excel单元格中自动执行此python代码?
6 回答
如何在excel工作表中创建具有相应值的新列
5 回答
如何在Excel工作表中复制条件为单元格颜色的python数据框?
10 回答
如何在Excel工作表中循环
8 回答
如何在excel工作表中打印嵌套词典?
3 回答
如何在excel工作表中绘制所有类的继承树?
7 回答
如何在Excel工作表中自动调整列宽?
10 回答
如何在excel工作表中追加并进一步处理
5 回答
如何在excel工作表之间进行更改?
4 回答
如何在excel或csv上获取selenium数据?
2 回答
如何在Excel或Python中将正确的值赋给正确的列
8 回答
如何在excel或python中提取单词周围的文本?
3 回答
如何在excel或python中转换来自Jira的3w 1d 4h的fromat数据?
4 回答