在请求中自动支持robots.txt文件。
requests-robotstxt的Python项目详细描述
目前只是概念的证明,该模块努力成为 requests自动 支持robots.txt
如何使用
只需使用RobotsAwareSession,而不是内置的requests.Session。 如果不允许资源,则会引发RobotsTxtDisallowed异常。
如何运行测试?
最简单的方法是提取源tarball并运行:
$ python test/test_robotstxt.py
更改日志
0.1.0
- 初始发布版本