爬行器与Inspire-HEP的集成。
inspire-crawler的Python项目详细描述
crawler与inspire-hep的集成使用了scrapy项目HEPCrawl。
此模块允许将爬网程序作业调度到Scrapyd实例服务 一个Scrapy项目。在这种情况下,默认的scrapy项目是HEPCrawl。
它直接与invenio-workflows模块集成,为每个 由爬虫捕获的记录。
此模块仅用于INSPIRE-HEP覆盖。自担风险使用。
完整的文档放在这里:http://pythonhosted.org/inspire-crawler/
另请参见hepclank的文档:http://pythonhosted.org/hepcrawl/