python的死简单网络爬虫

creep的Python项目详细描述


[![PYPI版本](https://img.shields.io/PYPI/V/screegy.svg?style=flat)(https://pypi.python.org/pypi/screegy/)
[![PYPI下载](https://img.shields.io/PYPI/dm/screegy.svg?style=flat)(https://pypi.python.org/pypi/screegy/)


令人毛骨悚然的是,python的另一个web爬虫程序,它可以提供一种简单、轻松的方式来编写web爬虫程序。


python的示例用法
``python


mycrawler类(爬虫程序):
def process\u document(self,doc):
如果doc.status==200:
print'[%d]%s%(doc.status,doc.url)
对doc.text(页面内容)做点什么
其他:
pass

crawler=mycrawler()
crawler.set_follow_模式(crawler.f_同一主机)
crawler.crawler.add_url_过滤器('\.(jpg jpeg gif png js css swf swf)$')
crawler.crawler.crawler('http://www.www.www.exwww.www.www.www.com.example./')
```

安装
1。从pypi安装:
`pip install screegy`
2。Arch Linux用户可以在AUR上找到它,也可以使用[yaourt](https://wiki.arch linux.org/index.php/yaourt):
`yaourt-s python2-screwy git`

分叉
2.创建功能分支(`git checkout-b my new feature`)
3。提交更改(`git commit-am'add some feature`)
4.推到分支(`git push origin my new feature`)
5。创建新的拉取请求

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何运行一个在播放歌曲的同时创建和更改UI的方法?   eclipse错误:无法找到或加载主类Java,因为类文件anme和类名不同?   两个数字相加得到一个值的java算法   java我可以更改字符串吗?   java Hibernate 5.2:以编程方式从其他jar加载映射   java如何访问随机跳转到固定位置的二进制文件   java是解析器实现中文档的功能   Javasocket的两端齐平   java查找将两个非常大的整数之和除以相等块的步骤   java如何在Restlet中调用带超时的异步HTTP客户端   java如何从servlet请求将hashmap传递给jsp。塞塔提布特   java Spring MVC HTTP状态500–内部服务器错误,Servlet。servlet[dispatcher]的init()引发异常   java即使没有alpha通道,如何将PNGFiles加载为ARGB_8888?   java将subscribe的返回类型映射到其他类型   javascript如何在安卓 WebView中启用longpress操作下载图像?   java将字符串作为hashmap值的一部分添加到StringList中   JavaSpringAOP:代表类型声明其他方法或字段   Java将二进制序列转换为字符   java使用ApachePOI获取最后一行值   为什么要在FPS(每秒帧数)跟踪器中添加时间?(爪哇)