用于scrapyd集群管理、scrapy日志分析和可视化的全功能web ui

scrapyd_U的Python项目详细描述


ScrapyWeb:用于ScrapyD群集管理、Scrapy日志分析和可视化的全功能Web用户界面
====

[![pypi-scrapydweb版本](https://img.shields.io/pypi/v/scrapydweb.svg)(https://pypi.org/project/scrapydweb/)
[![pypi-python版本](https://img.shields.io/pypi/pyversions/scrapydweb.svg)(https://pypi.org/project/scrapydweb/)
[![覆盖状态](https://coveralls.io/repos/github/my8100/scrapydweb/badge.svg?branch=master)(https://coveralls.io/github/my8100/scrapydweb?分支=主)
[![Github许可证](https://img.shields.io/github/license/my8100/scrapydweb.svg)](https://github.com/my8100/scrapydweb/blob/master/license)
[![推特](https://img.shields.io/twitter/url/https/github.com/my8100/scrapydweb.svg?style=social)(https://twitter.com/intent/tweet?text=scrapyDweb:%20full featured%20web%20ui%20for%20scrapyd%20cluster%20management%20scrapy%20log%20analysis%20%26%20visualization%20%23python%20%20%23scrapy%20%23scrapyd%20%23webcraping%20%23scrapydweb%20@my8100\u20&;url=https%3a%2f%2fgithub.com%2fmy8100%2fscrapydweb)


功能
----


-scrapyd群集管理
-组,过滤并选择任意数量的节点
-在多节点上执行命令,只需单击一次

-scrapy日志分析
-统计信息收集
-进度可视化
-日志分类

-所有受支持的scrapyd api
-部署项目、运行spider、停止作业-删除版本/项目

-其他
-自动提示
-web ui的基本身份验证
-访问受基本身份验证保护的scrapyd服务器


----
-[my8100](https://github.com/my8100)
-[simplety](https://github.com/simplety)(前端)



installation
----


运行“scrapydweb-h”获得帮助,
一个名为**scrapydweb_settings_vn.py**(n表示数字)的配置文件将被复制到当前工作目录,
然后您可以在其中自定义设置。
2。运行“scrapydweb”
3。访问[http://127.0.0.1:5000](http://127.0.0.1:5000)**(建议使用google chrome来获得更好的体验。)**




settings
----
[默认设置.py](http s://github.com/my8100/scrapydweb/blob/master/scrapydweb/default\settings.py)



----

-overview
![概述](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/overview.png)

-dashboard
![仪表板](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/dashboard.png)

-log analysis
-stats collection
![日志统计](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu stats.png)

-进度可视化
![日志图表](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu charts.png)

-日志分类
![日志](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu logs.png)

-部署项目
![部署](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/deploy.png)

-运行蜘蛛
![运行](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/run.png)

-管理项目
![管理](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/manage.png)

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java Rest DSL路由无法启动路由,因为同一端点不允许有多个使用者   jvm有没有像JConsole或VisualVM这样的工具可以告诉我“类、对象、引用变量在java中存储在哪里?”   java为什么我的列表中的所有元素看起来都一样?   java运行时。运行shell脚本的exec无法打开文件   JPopupMenu的JMenuItem的java热键   会话在Java中被覆盖   如何在java中去除字符串中的尖锐重音?   java Mockito监视一个接口,模拟它的默认方法,获取NullPointerException   javascript如何在jquery中禁用同一时间选择   将数组列表附加到现有CSV文件,但它会附加并清除存储在Java文件中的以前的数据   java从我的jar中访问pdf文件   java Sonar issue参数必须为非Null,但标记为可为Null   java Salesforce流式API:在网络故障之后和重新订阅之前获取事件   在Java 1.8.0_65上运行Play2.0应用程序时出现playframework错误   java为什么字母的ASCII由方法自动转换。toCharArray()?   java如何知道JDialog是否关闭?   java向服务器发送POST请求,服务器的响应为null,启动   java如何设置JTable中特定单元格的值?   ImagePlus中的java保存问题