- 当前热门话题：
Python robotparser
-
本站为您提供最新、最全的robotparser的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，
如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。
本文网址：https://www.cnpython.com/tags/267503
欢迎加入QQ群-->： 979659372
关于robotparser 相关联的Python项目和问题：
最新问答
我一直在研究一个Python网络爬虫程序，并且已经到了配置一个Linux机器（centOS）以便它运行的阶段。在
但是，当我尝试在服务器上运行脚本时，我得到错误“cannotimportnameulp ...
已阅读: n次
我要解析机器人.txtpython文件。
我已经研究过robotParser和roboteExclusionParser，但是没有什么真正满足我的条件。我想获取所有的diallowDurls和allo ...
已阅读: n次
Python3.3.0中是否有一种方法可以设置robotparser.read（）功能？
（例如urllib.请求urlopen公司）
默认的60秒超时有点过分。在
（我在自学Python。）
Pyt ...
已阅读: n次
我不知道如何在robotparser模块中使用parse函数。以下是我尝试的：
In [28]: rp.set_url("http://anilattech.wordpress.com/robots. ...
已阅读: n次
我正在使用Python中urlib模块中的robotparser来确定是否可以下载网页。但是，当机器人.txt文件是通过默认的用户代理访问的，但是如果是通过请求下载的，则响应是正确的。（当使用请求包访 ...
已阅读: n次
Python 2.7
我试图写一个“robot check”的结果（尽管我认为这在其他情况下也适用），其中我迭代了一个数据帧。
我试过了
import robotparser
import urlpa ...
已阅读: n次
我使用Python的robotparser已经有一段时间了，它工作得很好。今天早上我看到一个网站，看上去很放纵机器人.txt文件：
User-agent: *
Disallow: /wp-admin/ ...
已阅读: n次
我正在编写一个非常简单的web爬虫程序并尝试解析'robots.txt'文件。我在标准库中找到了robotparser模块，它应该就是这样做的。我使用的是python2.7.2。不幸的是，我的代码无法 ...
已阅读: n次
我有一个Python项目，在这个项目中我需要浏览许多站点并解析它们。在
我注意到，在很多情况下，requests无法正确获取站点内容，即使站点在Chrome和FF中打开得很好。例如，在我的代码中：
d ...
已阅读: n次
我面临着Python的robotparser模块的问题。对于特定的URL，它工作得很好，但是一旦我执行了一系列特定的步骤，它就会失败。下面提到的是我执行的步骤和结果：在
这个序列有效罚款：-在
> ...
已阅读: n次
我正在玩robotparses库，我正在尝试以下示例程序：
http://docs.python.org/library/robotparser.html
我的代码现在是-
import robotp ...
已阅读: n次
我以前也贴过类似的question。我试着用下面的方法刮一个web page
import requests
url = 'https://www.zameen.com/'
res = reques ...
已阅读: n次
最新项目
robotexclusionrulesparser是python标准库的替代品
模块RobotParser。它获取并解析robots.txt文件，并可以回答
关于给定用户代理是否允许访问
特定的网址。 ...
已阅读: n次
这是的标准库模块的虚拟实现
pycopy项目（https://github.com/pfalcon/pycopy）。
它包含零个或很少的功能，主要目的是
避免导入错误（使用即使应用程序导入
模块，它可 ...
已阅读: n次
