我有一个应用程序,它通过scrapyd来安排抓取工作。 项很好地流向数据库,我可以通过listjobs.json监视作业状态终点。所以很好,我甚至可以知道什么时候工作结束。在
然而,有时工作会失败。或者可能是因为HTTP错误。我想访问已完成的作业状态,最好是从scrapydapi。什么东西列表作业.json今天给我的结果是,我希望得到的结果是:
{"status": "ok",
"error": [{"id": "78391cc0fcaf11e1b0090800272a6d06", "spider": "spider1"}],
"running": [{"id": "422e608f9f28cef127b3d5ef93fe9399", "spider": "spider2", "start_time": "2012-09-12 10:14:03.594664"}],
"finished": [{"id": "2f16646cfcaf11e1b0090800272a6d06", "spider": "spider3", "start_time": "2012-09-12 10:14:03.594664", "end_time": "2012-09-12 10:24:03.594664"}]}
当然,我可以让作业自己更新一些数据库或文件,我可以从应用程序中查看,但我想知道有没有更干净的方法。在
目前没有回答
相关问题 更多 >
编程相关推荐