一个用于python的web爬行和web抓取框架(crawlframe)。
crawlframe的Python项目详细描述
crawlframe:一个web爬网框架
看,爬行框架的力量:
crawlf createapp <appname> -url http://<website>/
crawlf createpro <projectname>
crawlf start app:<name>
crawlf start project
crawlf stop app:<name>
crawlf stop project
crawlf stop <pid>
CrawlFrame正式支持python3.5+。
安装
要安装crawlframe,只需使用pip:
$ pip install crawlframe
文档
在建筑中…
更改
爬行帧-1.0.3
合作方式
爬行帧-1.0.2
CRAWLFRAME_SURVIVE_SWITCH = True
CRAWLFRAME_SURVIVE_MAX = int
reload spider
爬行帧存活开关=真 crawlFrame_survive_max=int 两个参数 发出。驻军 “中间人”和“记录者”的“创始者”缺陷。 基础记录员
爬行帧-1.0.1
crawlf createapp <appname> -url http://<website>/
crawlf createpro <projectname>
crawlf start app:<name>
crawlf start project
crawlf stop app:<name>
crawlf stop project
crawlf stop <pid>
开始停止。 中国石油天然气股份有限公司 皮皮吉特中心