一个高级的web爬行和web抓取框架

Scrap的Python项目详细描述


PyPI VersionSupported Python VersionsBuild StatusWheel StatusCoverage reportConda Version

概述

scrapy是一个快速的高级web抓取和web抓取框架,用于 抓取网站并从网页中提取结构化数据。它可以用来 用途广泛,从数据挖掘到监控和自动化测试。

有关更多信息,包括功能列表,请访问Scrapy主页: https://scrapy.org

要求

  • python 2.7或python 3.4+
  • 适用于Linux、Windows、Mac OSX、BSD

安装

快捷方式:

pip install scrapy

有关详细信息,请参阅文档中的安装部分: https://docs.scrapy.org/en/latest/intro/install.html

文档

文档可在https://docs.scrapy.org/和^{tt1}上在线获得。$ 目录。

释放量

您可以在https://docs.scrapy.org/en/latest/news.html找到发行说明

社区(博客、Twitter、邮件列表、IRC)

https://scrapy.org/community/

贡献

https://docs.scrapy.org/en/master/contributing.html

行为准则

请注意,此项目发布时附带了参与者行为准则 (见https://github.com/scrapy/scrapy/blob/master/CODE_OF_CONDUCT.md)。

通过参与这个项目,你同意遵守它的条款。 请向opensource@scrapinghub.com报告不可接受的行为。

使用废料的公司

https://scrapy.org/companies/

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何将jaxb插件扩展与gradlejaxbplugin一起使用   java Hibernate列表<Object[]>到特定对象   java使用多态性显示arraylist的输出   java水平堆叠卡,带有一定偏移量   java错误:找不到符号方法liesInt()   java客户机/服务器文件收发中的多线程流管理   在java中可以基于访问重载方法吗?   包含空元素的java排序数组   swing Java按钮/网格布局   java BottomNavigationView getmaxitemcount   java空指针异常字符串生成器   java Xamarin升级导致“类文件版本错误52.0,应为50.0”错误   java我正在尝试打印它,而不只是对每一行进行println   Tomcat7中的java是否需要复制上下文。将xml转换为conf/Catalina/locahost以使其生效   带有注入服务的java REST端点在何处引发自定义WebServiceException?   在Java中使用GPS数据   java如何将JFreeChart ChartPanel导出到包含添加的CrosshairOverlay的图像对象?   内置Eclipse期间的Java 8堆栈溢出   java在GWT编译的JavaScript中如何表示BigDecimal