屏幕抓取和网页抓取框架

pomp的Python项目详细描述


Pomp是一个屏幕抓取和网络爬行框架。浮华的灵感来自 类似于Scrapy,但是有一个更简单的实现,它缺少 Twisted依赖关系。

功能:

  • 纯Python
  • python 2.x-concurrent.futures(的后台端口 python 2.x包)
  • 支持一个文件应用程序;Pomps不强制特定的项目布局 或其他限制。
  • pomp是一个类似Paste的元框架:您可以使用它来创建自己的 刮擦框架。
  • 可扩展网络:您可以使用任何同步或异步方法。
  • 核心中没有解析库;请使用您喜欢的方法。
  • Pomp实例可以是分布式的,并且设计为与外部 排队。

庞普不想迁就:

  • 重定向
  • 代理< /LI>
  • 缓存
  • 数据库集成
  • 饼干
  • 身份验证

如果您需要代理、重定向或类似,您可以使用 requests库作为盛况下载程序。

Pomp examples

Pomp docs

无人机的持续集成状态。IO:

Latest CI testcodecov

PYPI状态:

Latest PyPI versionNumber of PyPI downloadsHave wheelLicense

文档状态:

Documentation Status

Pomp由Evgeniy Tatarkin编写和维护,并根据 BSD许可证。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
带有嵌套JAR的java RCP ClassNotFoundException   java在输入框中设置默认值,crud应用程序使用spring   java如何在Heroku中使用fs创建新文件   java将JPanel放在JFrame中   java这个正则表达式会匹配“i.imgur.com/xxx”吗?   java在片段内创建RecylerView,而无需在Android中设置片段   Android上Groovy导致java错误的双精度浮点精度损失   swing Java查找JFrame属于JPanel的内容   java Spring junit自连线自定义类本身必须有构造函数吗?   java textswitcher支持前面的文本   从Android客户端到JAXRS的java Post自定义对象   java如何检索JSON数据并使用MPAndroidChart绘制折线图,以及在安卓上的改进   拒绝用户“root”@“localhost”的java c3p0访问(使用密码“是”)   使用Selenium Webdriver自动化ExtJS应用程序时java面临的问题