使用JSON-RPC控制蜘蛛的scrapy扩展
scrapy-jsonrpc的Python项目详细描述
scrapy jsonrpc是通过 JSON-RPC。该服务通过 JSON-RPC 2.0协议。
它由JSONRPC_ENABLED设置启用。Web服务器将侦听 在JSONRPC_PORT中指定的端口中,并将记录到该文件 在JSONRPC_LOGFILE中指定。
访问爬网程序对象的端点为:
http://localhost:6080/crawler
示例客户机
提供了一个命令行工具,用于说明如何构建 客户。您可以在example-client.py中找到它。它支持一些基本的 命令,如列出正在运行的蜘蛛等。
设置
以下是控制Web服务行为的设置:
已启用jsonrpc
默认值:True
一个布尔值,指定是否将启用Web服务(前提是 扩展也已启用)。
jsonrpc日志文件
默认值:None
用于记录向Web服务发出的HTTP请求的文件。如果未设置Web 日志被发送到标准的废日志。
jsonrpc_端口
默认值:[6080, 7030]
用于Web服务的端口范围。如果设置为None或0,则 使用动态分配的端口。
jsonrpc主机
默认值:'127.0.0.1'
Web服务应该监听的接口。