Python中文
首页
教程
问答
标签
搜索
登录
注册
爬网/刮取包含特定文本的网站/网页，之前没有任何此类网站/网页的信息
回答此问题可获得
20
贡献值，回答如果被采纳可获得
50
分。
<p>我用了坚果和刮痧。他们需要种子URL来爬网。这意味着，人们应该已经知道将包含正在搜索的文本的网站/网页</p> <p>我的情况不同，我没有关于包含我正在搜索的文本的网站/网页的先前信息。因此，我将无法使用种子URL来通过nutch和scrapy等工具进行爬网</p> <p>有没有一种方法可以在不知道任何可能包含该文本的网站/网页的情况下，对给定文本的网站/网页进行爬网</p>
0 条评论
分类：
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长：python、mysql、java
<p>您可以解析<a href="https://commoncrawl.org/" rel="nofollow">the commoncrawl dataset</a>。它包含数十亿个网页。他们的站点包含了如何使用MapReduce的示例。 除此之外，任何网络爬虫都需要有一些起点</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏，
216
浏览
网友 提问于 2天前
相关Python问题
Kerasterflow预训练模型中的纯训练偏差
2 回答
KerasTF Conv2D模型运行时无响应型号.fi
5 回答
Kerastuner Randomsearch:TypeError:（“关键字参数未理解：”，“激活”）
4 回答
Kerastuner ValueError:形状（320，）和（1，）不兼容
5 回答
Kerastuner:“ValueError:不是法律参数”问题，当我使用LSTM网络时，但密集层工作正常
9 回答
KerasTuner：是否可以在目标/度量函数中使用测试/验证集？
9 回答
KerasTuner自定义目标函数
9 回答
kerastuner调整层数会创建与报告的层数不同的层数
4 回答
KerasTuner运行时错误：构建模型的失败尝试太多
10 回答
kerasv1.2.2与kerasv2+的奇怪行为（精确度上的巨大差异）
8 回答
kerasvis中visualize_-cam/visualize_显著性的热图输出形状
4 回答
Kerasvis和tfkerasvis的激活最大化不适用于MobileNetV2模型
1 回答
Kerasvis对于显著性图表，我们应该使用softmax还是线性激活
5 回答
Kerasvis给出以下错误：AttributeError:多个入站节点
2 回答
kerasyolov3模型中预期输入和目标的格式和形状
1 回答
Keras一个GPU可以同时训练两个不相关的模型吗？
2 回答
Keras一类CNN两个输入，每一步一个
8 回答
keras三维张量上的Softmax层
10 回答
Keras三维目标预测
5 回答
keras上的flatten与python中的Image的区别
9 回答
