屏幕抓取和网页抓取框架
pomp的Python项目详细描述
Pomp是一个屏幕抓取和网络爬行框架。浮华的灵感来自 类似于Scrapy,但是有一个更简单的实现,它缺少 Twisted依赖关系。
功能:
- 纯Python
- python 2.x-concurrent.futures(的后台端口 python 2.x包)
- 支持一个文件应用程序;Pomps不强制特定的项目布局 或其他限制。
- pomp是一个类似Paste的元框架:您可以使用它来创建自己的 刮擦框架。
- 可扩展网络:您可以使用任何同步或异步方法。
- 核心中没有解析库;请使用您喜欢的方法。
- Pomp实例可以是分布式的,并且设计为与外部 排队。
庞普不想迁就:
- 重定向
- 缓存
- 数据库集成
- 饼干
- 身份验证
- 等
如果您需要代理、重定向或类似,您可以使用 requests库作为盛况下载程序。
无人机的持续集成状态。IO:
PYPI状态:
文档状态:
Pomp由Evgeniy Tatarkin编写和维护,并根据 BSD许可证。