Scrapy crawlera身份验证问题

2024-06-07 04:47:03 发布

您现在位置:Python中文网/ 问答频道 /正文

我一直在尝试使用scrapy crawlera作为代理,用scrapy删除一些数据。我在settings.py中添加了以下行:

DOWNLOADER_MIDDLEWARES = { 'scrapy_crawlera.CrawleraMiddleware': 610, } 
CRAWLERA_ENABLED = True 
CRAWLERA_APIKEY = 'MY_CRAWLERA_API_KEY'

在新更改的scrapinghub网站app.zyte.com中,我创建了一个智能代理管理器帐户,我的api密钥来自我的帐户设置

我收到这个警告WARNING: Retrying crawlera request for authentication issue,网站不会被刮

我做错什么了吗


Tags: 数据pytrue代理settings网站enableddownloader
1条回答
网友
1楼 · 发布于 2024-06-07 04:47:03

这似乎是一个显而易见的答案,但我有这个问题,并通过确保我使用的API密钥是正确的来解决它。在我的例子中,Zyte发给我的第一个API密钥没有被激活。我回到我的帐户控制台并在那里复制了API密钥(这是不同的)

因此,请确保使用了正确的键,或者尝试在控制台中创建一个新键

相关问题 更多 >