一个高级的web爬行和web抓取框架

Scrapy3的Python项目详细描述


PyPI VersionSupported Python VersionsBuild StatusWheel StatusCoverage reportConda Version

摘要

这是一把给斯皮里的叉子。最适合在Python3中使用

概述

scrapy是一个快速的高级web抓取和web抓取框架,用于 抓取网站并从网页中提取结构化数据。它可以用来 用途广泛,从数据挖掘到监控和自动化测试。

有关更多信息,包括功能列表,请访问Scrapy主页: https://scrapy.org

要求

  • Python3.4+
  • 适用于Linux、Windows、Mac OSX、BSD

安装

快捷方式:

pip install scrapy

有关详细信息,请参阅文档中的安装部分: https://doc.scrapy.org/en/latest/intro/install.html

文档

文档可在https://doc.scrapy.org/和^{tt1}上在线获得。$ 目录。

释放量

您可以在https://doc.scrapy.org/en/latest/news.html找到发行说明

社区(博客、Twitter、邮件列表、IRC)

https://scrapy.org/community/

贡献

https://doc.scrapy.org/en/master/contributing.html

行为准则

请注意,此项目发布时附带了参与者行为准则 (见https://github.com/scrapy/scrapy/blob/master/CODE_OF_CONDUCT.md)。

通过参与这个项目,你同意遵守它的条款。 请向opensource@scrapinghub.com报告不可接受的行为。

使用废料的公司

https://scrapy.org/companies/

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java启动时加载值示例代码(xml)   java什么是视图索引?当视图组将视图添加到索引1时会发生什么   java如何调用HttpUrlConnection disconnect()   java将日期转换为毫秒,givse错误结果   java正在处理“.”上的IP地址拆分字符串性格   java proguard不创建输出jar   编译中的Java默认修饰符   java中的管道I/O流   java为集合返回的最佳迭代器类型?拆分器,流?   java如何修改JTextArea中tab键的行为?   来自Android Studio HTML文档的外部应用程序中的java Open Local PDF   组件和轻量级/重量级之间的java差异   java在有向图中查找模式   python可以创建运行服务器端程序的Java Web Start应用程序吗?   NiFi中基于内容的java更新属性