Python中文
首页
教程
问答
标签
搜索
登录
注册
抓取/废弃包含特定文本的网站/网页,没有任何此类网站/网页的事先信息
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我用的是坚果和肉屑。他们需要种子网址来爬网。这意味着,一个人应该已经知道的网站/网页,其中将包含正在搜索的文本。在</p> <p>我的情况不同,我没有关于包含我正在搜索的文本的网站/网页的事先信息。所以我不能使用种子url来被nutch和scrapy之类的工具抓取。在</p> <p>有没有一种方法可以对给定文本的网站/网页进行爬网,而不知道任何可能包含该文本的网站/网页?在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>您可以解析<a href="https://commoncrawl.org/" rel="nofollow">the commoncrawl dataset</a>。它包含了数十亿个网页。他们的网站上有一些关于如何使用MapReduce的例子。 除此之外,任何网络爬虫都需要有一些起点。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
Django:。是不是“超级用户”字段不起作用
2 回答
Django:'DeleteQuery'对象没有属性'add'
8 回答
Django:'ModelForm'对象没有属性
7 回答
Django:'python manage.py runserver'返回'TypeError:'WindowsPath'类型的对象没有len()
10 回答
Django:'Python管理.pysyncdb'不创建我的架构表
9 回答
Django:'Python管理.py迁移“耗时数小时(和其他奇怪的行为)
2 回答
Django:'readonly'属性在我的ModelForm上不起作用
5 回答
Django:'RegisterEmployeeView'对象没有属性'object'
1 回答
Django:'str'对象没有属性'get'
6 回答
Django:'创建' 不能被指定为Order模型表单中的值,因为它是一个不可编辑的字段
4 回答
Django:“'QuerySet'类型的对象不是JSON可序列化的”
7 回答
Django:“'utf8'编解码器无法解码位置19983中的字节0xe9:无效的连续字节”,加载临时文件时
10 回答
Django:“<…>”需要有一个字段“id”的值,然后才能使用这个manytomy关系
10 回答
Django:“AnonymousUser”对象没有“get_full_name”属性
7 回答
Django:“ascii”编解码器无法解码位置1035中的字节0xc3:序号不在范围内(128)
4 回答
Django:“BaseTable”对象不支持索引
2 回答
Django:“collections.OrderedDict”对象不可调用
10 回答
Django:“Country”对象没有属性“all”
2 回答
Django:“Data”对象没有属性“save”
5 回答
Django:“datetime”类型的对象不是JSON serializab
7 回答