拱门跷跷板套件
seesaw的Python项目详细描述
Seesaw toolkit是一个用于分布式web处理的异步工具包它用Python编写并以其行为命名,支持并发下载、上传等操作。
这个工具包以[归档团队项目](http://Archive Team.org)而闻名它还为[归档团队战士](http://Archive Team.org/index.php)提供动力?标题=战士)。[构建状态](https://secure.travis ci.org/archiveteam/seesaw kit.png)(http://travis ci.org/archiveteam/seesaw kit)
[![覆盖状态](https://coveralls.i o/repos/archiveteam/seesaw kit/badge.svg)(https://coveralls.io/r/archiveteam/seesaw kit)
要尝试运行示例管道:
-
sudo pip install-r requirements.txt
./run pipeline--help
./run pipeline examples/example-pipeline.py someone
将浏览器指向“http://127.0.0.1:8001/”。
对于Python版本。
Overview
--
General idea:一组“Task”可以组合到处理“Item”的“Pipeline”中:
*需要下载“Item”的内容(例如用户)它具有由“task”填充的属性。
*task是下载过程中的一个步骤:它接受一个项目,对它执行某些操作并将其传递给其他人。示例任务:从跟踪程序中获取项目名称,运行下载脚本,同步结果,通知跟踪程序已完成。
*a`Pipeline`表示一个“任务”序列。若要为新项目生成跷跷板脚本,请指定一个新的“Pipeline”。
a`Task`可以一次处理多个“项目”(例如多个Wget下载)可以通过将任务包装为“limit concurrency”任务来限制并发性:这将对项目进行排队并逐个运行(例如,一次Rsync上载)。
需要将“Pipeline”馈送为空的“Item”对象;通过控制活动“Item”的数量,可以限制项目的数量(例如,每次项离开管道时添加一个新项。)
将为每个项目重新计算这些对象的值。示例:路径名取决于项目名、可配置的带宽限制、并发下载的数量。
这个工具包以[归档团队项目](http://Archive Team.org)而闻名它还为[归档团队战士](http://Archive Team.org/index.php)提供动力?标题=战士)。[构建状态](https://secure.travis ci.org/archiveteam/seesaw kit.png)(http://travis ci.org/archiveteam/seesaw kit)
[![覆盖状态](https://coveralls.i o/repos/archiveteam/seesaw kit/badge.svg)(https://coveralls.io/r/archiveteam/seesaw kit)
要尝试运行示例管道:
-
sudo pip install-r requirements.txt
./run pipeline--help
./run pipeline examples/example-pipeline.py someone
将浏览器指向“http://127.0.0.1:8001/”。
对于Python版本。
Overview
--
General idea:一组“Task”可以组合到处理“Item”的“Pipeline”中:
*需要下载“Item”的内容(例如用户)它具有由“task”填充的属性。
*task是下载过程中的一个步骤:它接受一个项目,对它执行某些操作并将其传递给其他人。示例任务:从跟踪程序中获取项目名称,运行下载脚本,同步结果,通知跟踪程序已完成。
*a`Pipeline`表示一个“任务”序列。若要为新项目生成跷跷板脚本,请指定一个新的“Pipeline”。
a`Task`可以一次处理多个“项目”(例如多个Wget下载)可以通过将任务包装为“limit concurrency”任务来限制并发性:这将对项目进行排队并逐个运行(例如,一次Rsync上载)。
需要将“Pipeline”馈送为空的“Item”对象;通过控制活动“Item”的数量,可以限制项目的数量(例如,每次项离开管道时添加一个新项。)
将为每个项目重新计算这些对象的值。示例:路径名取决于项目名、可配置的带宽限制、并发下载的数量。