Python中文
首页
教程
问答
标签
搜索
登录
注册
scrapy允许所有域
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我看到了<a href="https://stackoverflow.com/questions/6320167/python-scrapy-allowed-domains-adding-new-domains-from-database">this</a>帖子,让scrapy抓取任何不受域限制的站点。</p> <p>有没有更好的方法可以做到这一点,比如在allowed domains变量中使用正则表达式,比如-</p> <pre><code>allowed_domains = ["*"] </code></pre> <p>我希望有其他的方法,而不是侵入到scrapy框架来做这件事。</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>你应该激活离线的middlware,这是一个在scrapy中内置的蜘蛛中间件。 有关详细信息<a href="http://doc.scrapy.org/en/latest/topics/spider-middleware.html" rel="nofollow">http://doc.scrapy.org/en/latest/topics/spider-middleware.html</a></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
jupyter运行一个旧的pytorch版本
9 回答
Jupyter运行不同版本的卸载库?
10 回答
Jupyter运行指定的键盘快捷键
3 回答
Jupyter通过.local文件“逃逸”virtualenv。我该如何缓解这种情况?
3 回答
Jupyter重新加载自定义样式
5 回答
Jupyter错误:“没有名为Jupyter_core.paths的模块”
8 回答
jupyter错误:无法在随机林中将决策树视为png
6 回答
Jupyter错误'内核似乎已经死亡,它将自动重新启动'为一个给定的代码块
2 回答
Jupyter错误地用阿拉伯语和字母数字元素显示Python列表
3 回答
Jupyter隐藏数据帧索引,但保留原始样式
6 回答
Jupyter集线器:启动器中出现致命错误。。。系统找不到指定的文件
5 回答
Jupyther中相同值的相同哈希,但导出到Bigquery时不相同
5 回答
Jupy上Python的读/写访问问题
2 回答
jupy上没有模块cv
3 回答
Jupy上的排序错误
3 回答
Jupy中bqplot图形的紧凑布局
5 回答
Jupy中matplotlib plot的连续更新
5 回答
Jupy中Numpy函数的文档
1 回答
Jupy中Pandas的自动完成问题
5 回答
jupy中Qt后端的Matplotlib动画
9 回答