scrapy很慢（60页/分钟）

Question

我的爬虫似乎工作得很慢，不知道为什么。我试着解释一下它是怎么工作的。在

请记住，我使用内联请求

首先我有31个不同的起始网址。每个URL在amazon中都是一个类别。 设置：

USER_AGENT = "Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201" 

ROBOTSTXT_OBEY = False

CONCURRENT_REQUESTS = 2048

DOWNLOAD_DELAY = 1

CONCURRENT_REQUESTS_PER_DOMAIN = 2048

在每一个网址，我做的所有项目在该网页（16个项目）。在

在每一个项目上，我都会发送一个请求，以预订球探销售API，并检查销售价格。在

之后，我发送一个请求到bookscouterbuy API并检查购买价格（这是一个不同的链接，所以有两个单独的请求，一个请求buy，一个请求sell）。在

在此之后，我得出ISBN，买入价和卖出价。在

现在我检查下一页的URL是否为字符串，如果是，则抓取下一页。在

我是不是做错了什么事，或者这就是预期的速度？在