轻量级和可扩展的蜘蛛框架。
charlotte的Python项目详细描述
夏洛特
轻量级和可扩展的蜘蛛框架。
安装
pip install charlotte
示例
importjsonimportasynciofromcharlotte.spiderimportBaseSpiderclassSpider(BaseSpider):asyncdefon_start(self):response=awaitself.fetch('https://blog.qiaohong.org/api/v1/articles')items=json.loads(response.body)awaitasyncio.wait([self.fetch('https://blog.qiaohong.org/api/v1/articles/'+item['slug'],parser=self.parse_detail)foriteminitems['data']['articles']])defparse_detail(self,res):print(res.body.decode('utf-8'))if__name__=='__main__':Spider().run()
文件
查看wiki了解详细信息。
许可证
麻省理工学院
欢迎加入QQ群-->： 979659372
