一个运行scrapy spider的服务,带有一个http api

scrapydart的Python项目详细描述


==========
ScrapydArt
==========

.. image:: https://secure.travis-ci.org/scrapy/scrapyd.svg?branch=master
:target: http://travis-ci.org/scrapy/scrapyd

.. image:: https://codecov.io/gh/scrapy/scrapyd/branch/master/graph/badge.svg
:target: https://codecov.io/gh/scrapy/scrapyd


==========
项目演示地址
==========

http://scrapydart.porters.vip

==========
拒绝裸奔
==========

ScrapydArt在Scrapyd基础上新增了权限验证、筛选过滤、排序、数据统计以及排行榜等功能,并且有了更强大的API。


scrapyd是世界最优秀的爬虫框架scrapy官方提供的部署控管理平台,它提供了爬虫任务调用的api、爬虫运行日志功能。

但它并不提供权限验证功能,意味着只要你部署到服务器,任何人都可以访问它并且控制你的爬虫。它也不提供数据统计的功能,你不可能知道你部署的爬虫有多少、也不知道它们运行了多少次、谁的运行时间最长、更别说排行了。官方开发人员关注的重点是api功能性而非界面,所以界面(甚至可以说没有界面)不谈美观。

==========
ScrapydArt安装
==========

pip install scrapydart

==========
ScrapydArt启动
==========

scrapydart

==========
ScrapydArt-web界面
==========

http://localhost:6800
--------------------------------------------------
更多使用方法和ScrapydArt的详细介绍请阅读ScrapydArt文档
--------------------------------------------------

https://scrapydart.readthedocs.io/zh/latest/

--------------------
下图为ScrapydArt界面
--------------------

.. image:: https://github.com/dequinns/ScrapydArt/blob/master/images/scrapydart-home.png

.. image:: https://github.com/dequinns/ScrapydArt/blob/master/images/scrapydart-jobs.png

ScrapydArt base on Scrapyd, and added auth/filter/order…… and added new API

ScrapydArt is a service for running `Scrapy`_ spiders.

It allows you to deploy your Scrapy projects and control their spiders using an
HTTP JSON API.

The documentation (including installation and usage) can be found at(官方文档在此):
https://scrapydart.readthedocs.io/zh/latest/

.. image:: https://github.com/dequinns/ScrapydArt/blob/master/images/scrapydart-doc.png

.. _Scrapy: https://github.com/dequinns/scrapydart

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
NetBeans中的Java Swing滚动窗格   java如何与具有复合键的表建立关系?   Android中读取文件时java数据丢失   java黄瓜场景。embed在ubuntu机器上不工作?   java从spring mvc控制器操作中,我如何获得请求/响应的访问权限?   java减去两个长值   java选择下一个值firebase 安卓   用于起始和结尾连字符的java正则表达式   Java正则表达式解释   java Lifefay freemarker ADT:方法不可用?   java我怎样才能让我的开关盒作用于JFrame?   java在我的场景中使用连接池的理想方式是什么   java我如何接受jsoup的cookies?   java如何将整数数组更改为字符串数组?   java Android操作\u指针\u向上直到剩余触摸移动时才调用   java为什么gradle会出错?   io如何在java中复制/拆分输入流?   java使JButton不可见,但尊重其原始空间   java Spring提交表单获取复选框值不起作用