scrapy-splitvariants 1.1.0

示例用法

假设您的spider输出一个具有不同大小选项的项 （例如来自电子商务网站）：

item = {"id": 12,
        "name": "Big chair",
        "variants": [{"size": "XL", "price": 200, "currency": "USD"},
                     {"size": "L", "price": 100, "currency": "USD"}]}

当您启用SplitVariantsMiddleware时，这个项目将变成 两个具有不同变量值的项目放入不同的项目：

{"id": 12, "name": "Big chair", "size": "XL", "price": 200, "currency": "USD"}
{"id": 12, "name": "Big chair", "size": "L", "price": 100, "currency": "USD"}

安装

使用pip：

$ pip install scrapy-splitvariants

配置

1. 通过将其包含在^{tt5}中来添加SplitVariantsMiddleware。$ 在settings.py文件中：

   SPIDER_MIDDLEWARES = {
       'scrapy_splitvariants.SplitVariantsMiddleware': 100,
   }
   

   这里，priority100只是一个例子。 根据您可能已经启用的其他中间件设置其值。

2. 使用SPLITVARIANTS_ENABLED设置为^{tt9}启用中间件$ 在您的setting.py中。