拱门跷跷板套件

seesaw的Python项目详细描述


Seesaw toolkit是一个用于分布式web处理的异步工具包它用Python编写并以其行为命名,支持并发下载、上传等操作。

这个工具包以[归档团队项目](http://Archive Team.org)而闻名它还为[归档团队战士](http://Archive Team.org/index.php)提供动力?标题=战士)。[构建状态](https://secure.travis ci.org/archiveteam/seesaw kit.png)(http://travis ci.org/archiveteam/seesaw kit)
[![覆盖状态](https://coveralls.i o/repos/archiveteam/seesaw kit/badge.svg)(https://coveralls.io/r/archiveteam/seesaw kit)

要尝试运行示例管道:

-

sudo pip install-r requirements.txt
./run pipeline--help
./run pipeline examples/example-pipeline.py someone


将浏览器指向“http://127.0.0.1:8001/”。

对于Python版本。



Overview
--


General idea:一组“Task”可以组合到处理“Item”的“Pipeline”中:

*需要下载“Item”的内容(例如用户)它具有由“task”填充的属性。
*task是下载过程中的一个步骤:它接受一个项目,对它执行某些操作并将其传递给其他人。示例任务:从跟踪程序中获取项目名称,运行下载脚本,同步结果,通知跟踪程序已完成。
*a`Pipeline`表示一个“任务”序列。若要为新项目生成跷跷板脚本,请指定一个新的“Pipeline”。

a`Task`可以一次处理多个“项目”(例如多个Wget下载)可以通过将任务包装为“limit concurrency”任务来限制并发性:这将对项目进行排队并逐个运行(例如,一次Rsync上载)。

需要将“Pipeline”馈送为空的“Item”对象;通过控制活动“Item”的数量,可以限制项目的数量(例如,每次项离开管道时添加一个新项。)

将为每个项目重新计算这些对象的值。示例:路径名取决于项目名、可配置的带宽限制、并发下载的数量。


欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java Google Billing Library:QueryPurchaseAsync:取消购买的订阅资源未返回   java转换列表mapsturct中的单个对象   java简单算法。我做不好   包含集合的@ManyToMany映射的java JPA2持久性   在Java中序列化和反序列化对象时发生BuffereImage错误   java使用ui:param传递值并在backingbean中访问它们   java从应用程序读取配置。yml至POJO列表地图   java中在while循环外部调用文件值   java如何与来自不同类的UI交互   java如何在jTable中显示2D数组?   在Java 8中,类为什么不从接口继承默认方法?   java类。getAnnotation和getAnnotations无法正常工作   java处理pagertabstrip上的触摸事件   java GWT和struts2异常   用Java解析HTTP查询字符串   java这段代码SQL注入安全吗?