scrapy-statsd-middleware 0.0.8

用法

pip安装scrapy statsd中间件

DOWNLOADER_MIDDLEWARES={'statsd_middleware.StatsdMiddleware':543,}SPIDER_MIDDLEWARES={'statsd_middleware.StatsdMiddleware':543,}

您还可以使用一些设置：

• statsd_hostname-默认为当前计算机的主机名
• statsd_prefix-默认为“hostname.spider name”。
• statsd_host_ip-默认为“0.0.0.0”

这将使用以下命令增加statsd： *请求（发出蜘蛛请求） *回应（收到蜘蛛回应） *错误（error\u keyerror，其中keyerror是任何错误名称） *已处理的项目（已处理的产品，其中产品是任何项目类名）

示例实现

这个中间件的一个示例实现在/example中 它包含一个docker compose文件，描述如何将此中间件与statsd&graphite一起使用

安装和使用示例

• 生成Docker图像
• 启动statsd容器docker compose up-d
• 运行示例spider:docker compose-f./example/docker-compose.yml运行spider bash-c“cd./opt/scrapy/dirbot/&；scrapy crawl dmoz”

你可以在http://0.0.0.0/dashboard看到一个实时石墨仪表板 您应该会看到stats显示在“stats.z-macbook-pro.local.dmoz.spider_reqs_issued”

开发

您可以通过进行测试来运行测试