一个高级的web爬行和web抓取框架

Scrapy3的Python项目详细描述


PyPI VersionSupported Python VersionsBuild StatusWheel StatusCoverage reportConda Version

摘要

这是一把给斯皮里的叉子。最适合在Python3中使用

概述

scrapy是一个快速的高级web抓取和web抓取框架,用于 抓取网站并从网页中提取结构化数据。它可以用来 用途广泛,从数据挖掘到监控和自动化测试。

有关更多信息,包括功能列表,请访问Scrapy主页: https://scrapy.org

要求

  • Python3.4+
  • 适用于Linux、Windows、Mac OSX、BSD

安装

快捷方式:

pip install scrapy

有关详细信息,请参阅文档中的安装部分: https://doc.scrapy.org/en/latest/intro/install.html

文档

文档可在https://doc.scrapy.org/和^{tt1}上在线获得。$ 目录。

释放量

您可以在https://doc.scrapy.org/en/latest/news.html找到发行说明

社区(博客、Twitter、邮件列表、IRC)

https://scrapy.org/community/

贡献

https://doc.scrapy.org/en/master/contributing.html

行为准则

请注意,此项目发布时附带了参与者行为准则 (见https://github.com/scrapy/scrapy/blob/master/CODE_OF_CONDUCT.md)。

通过参与这个项目,你同意遵守它的条款。 请向opensource@scrapinghub.com报告不可接受的行为。

使用废料的公司

https://scrapy.org/companies/

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java Android Studio gradle版本错误   odata如何使用SAP Cloud SDK 3.2.0在Java中检索目标?   具有包含地址的路径的java执行进程   java日志中充斥着AWS Http调用   java notifyDataSetChanged不使用线程   java Android位图:中心裁剪+创建位图的圆形   在解组Json对象时,java“prolog中不允许内容”   java getResources()来自Android Studio中的枚举   java EclipseLink相当于Hibernate@naturaid   java如何用相似但不同的对象填充列表?   xml java SAXParser忽略异常并继续解析   如何从java控制台运行控制台应用程序?   java如何通过一个jsp中的链接将注册表切换为登录表单(或其他方式)?   这可能是java/lang/Runtime的用法。exec([Ljava/lang/String;)Ljava/lang/Process;可能容易受到命令注入的攻击   java这本教科书中的链表是否包含“递归构造函数”?   java将Arraylist<Integer>转换为char[]的最佳方式是什么