爬行器与Inspire-HEP的集成。

inspire-crawler的Python项目详细描述


https://img.shields.io/travis/inspirehep/inspire-crawler.svghttps://img.shields.io/coveralls/inspirehep/inspire-crawler.svghttps://img.shields.io/github/tag/inspirehep/inspire-crawler.svghttps://img.shields.io/pypi/dm/inspire-crawler.svghttps://img.shields.io/github/license/inspirehep/inspire-crawler.svg

crawler与inspire-hep的集成使用了scrapy项目HEPCrawl

此模块允许将爬网程序作业调度到Scrapyd实例服务 一个Scrapy项目。在这种情况下,默认的scrapy项目是HEPCrawl

它直接与invenio-workflows模块集成,为每个 由爬虫捕获的记录。

此模块仅用于INSPIRE-HEP覆盖。自担风险使用。

完整的文档放在这里:http://pythonhosted.org/inspire-crawler/

另请参见hepclank的文档:http://pythonhosted.org/hepcrawl/

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java IntelliJ找不到依赖项选项卡   java向字符串数组string[]添加元素并在Junit中测试结果   如何在eclipse中获取活动java项目的名称   如何使用java在mysql中插入时间   java ArrayList更新了插入一行,但Jtable仍然没有刷新   如何在JavaSwing中命名坐标(点)   java Matcher/模式不打印   java错误地设置了arraylist   使用UsernamePasswordCredential提供程序的java列表Azure AD   java在HTTP请求中设置UTC时间   未加载事件:jquery完整日历Java集成   java Maven插件依赖项无法从内部repo解析依赖项   Maven更新重置Java版本   java如何向中添加图片。带有Apache POI XWPF的docx,但不指定其大小   Java最大函数递归