使用scrapyd和logparser的scrapy项目仪表板

scrapyd-dash的Python项目详细描述


Scrapyd仪表板

专门用于scrapyd服务器操作scrapy spider(启动、停止、检查状态)的仪表板。

功能

  • [X]scrapyd服务器状态
  • [X]任务(添加、删除、列表)
  • [X]身份验证(使用Django身份验证系统)
  • []计划任务(添加、删除、列出)
  • []查看日志
  • []多个独立用户支持
  • []任务性能详细信息

演示

Demo website

用户名:demo

密码:demo

安装

  1. 安装软件包
pip install scrapyd_dash
  1. 将URL添加到您的项目url.py
from django.urls import include

urlpatterns = [
    ...
    path('scrapyd_dash/', include('scrapyd_dash.urls')),
]

使用

构建
  • Django-使用的web框架。
  • ScrapyD-运行碎片蜘蛛的服务守护进程。
  • LogParser-一个分析零碎日志文件的工具。

作者

贡献

  1. 叉开它
  2. 创建功能分支(git checkout -b feature/fooBar
  3. 提交更改(git commit -am 'Add some fooBar'
  4. 推到分支(git push origin feature/fooBar
  5. 创建新的拉取请求

许可证

这个项目是在麻省理工学院的许可下授权的-请参阅LICENSE文件了解详细信息。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何获取所有链接并使用SeleniumWebDriver逐个单击这些链接   java中数组列表的arraylist移位元素   java如何存储具有不同类型参数的元素   java不能使用List<Future<?>>当从不同位置调用时,在方法参数中   java我应该如何修复代码以避免测试代码出错?   安卓 PreferenceFragment java。lang.RuntimeException   java在运行emulator时发现错误   java取消多个AsyncTask回调的有效方法是什么?如果中途满足条件,这些回调将在将来返回?   有没有办法在运行时将方法动态分配给Java类?   java如何将propertyfile与GlassFish一起使用   如何在PHP中使用bcrypt对密码进行哈希处理?   Java和UDP web服务器   java JPA允许EntityListeners执行JPA操作吗?   java执行do while语句时不会产生错误   java无法在edittext中显示数据库中的数据   java Tomcat中活动会话的数量   java在何处使用@SuppressWarnings(“requestfactory”)   netty连接中的java HornetQ异常