Python，云 - 具有调度功能的在线网络抓取工具

Question

我打算用Python开发一个网络/云应用，主要功能包括：
1. 上传Perl/Python的抓取脚本并执行。
2. 上传的脚本可以定时运行。
3. 同一个脚本可以运行多个实例，并且使用不同的输入参数。
4. 测量脚本的性能。
5. 查看脚本的标准输出和日志。

我对能满足我需求的技术了解得不多，
如果有任何建议、提示、现有工作的思路、库、开源实现等，都会非常感谢。

谢谢，
Rajesh。

Answer 1

可以用Scrapy作为你工作的基础：

http://scrapy.org/

如果你想上传数据、提高脚本的性能和输出结果（我想是通过网页界面），你需要自己写一个网页前端，把这些信息存储到数据库里，这样你就可以去查看和探索这些数据。一个可以考虑的选项是Pyramid：

http://pypi.python.org/pypi/pyramid/

如果你想把Python应用部署到云端，可以看看Heroku：

http://www.heroku.com/