Frontera的ScrapyCLOUD Hubstorage Frontier后端
hcf-backend的Python项目详细描述
Frontera的HCF（Hubstorage Crawl Frontier）后端
与scrapy一起使用时，请与由scrapy-frontera提供的scrapy调度程序一起使用。提供垃圾调度程序 不支持byFrontera。scrapy frontera是一个允许使用frontera后端的scrapy调度程序， 就像现在的那个，有一些零碎的项目。
请参阅位于backend.py的模块和类docstrings中的特定用法说明。 在scrapy-frontera README中可以看到一些用法示例。
有关在scrapyCLOUD工作流中使用hcf-backend的完整教程，请访问 shub-workflow Tutorial。shub-workflow是定义蜘蛛工作流的框架 以及运行在scrapycloud上的脚本。这是一个强烈推荐的讲座，因为它记录了不同工具的集成，这些工具一起提供 最好的好处。
包还提供了一个方便的命令行工具，用于hubstorage前沿处理和操作： hcfpal.py。它支持转储、计数、删除、移动、列出等。 有关用法，请参见命令行帮助。
提供的另一个工具是crawlmanager.py。它有助于 消费者蜘蛛作业。前面提到的shub-workflow教程中也提供了使用示例。
安装
pip install hcf-backend
欢迎加入QQ群-->： 979659372
