基于spider管理的scrapyd api和apscheduler
SpiderAdmin的Python项目详细描述
SpiderAdmin
功能介绍
对Scrapyd 接口进行可视化封装，对Scrapy爬虫项目进行删除 和 查看
并没有实现修改，添加功能, 部署推荐使用
$ scrapyd-deploy -a
- 对爬虫设置定时任务，支持apscheduler 的3中方式和随机延时，共计4中方式
- 单次运行 date
- 周期运行 corn
- 间隔运行 interval
- 随机运行 random
- 基于Flask-BasicAuth 做了简单的权限校验
启动运行
$ pip3 install spideradmin
$ spideradmin init # 初始化，可选配置，也可以使用默认配置
$ spideradmin # 启动服务
页面截图
TODO
增加登录页面做权限校验增加定时设置的多样性增加定时随机运行
部署Scrapyd注意版本问题
- Scrapyd==1.2.0
- Scrapy==1.6.0
- Twisted==18.9.0
更新日志
| 版本 | 日期 | 描述 |
|---|---|---|
| 0.0.17 | 2019-07-02 | 优化文件，优化随机调度，增加调度历史统计和可视化 |
欢迎加入QQ群-->： 979659372
