scrapy使用不同的参数(start url)多次运行同一个spider

2024-04-25 05:40:21 发布

您现在位置:Python中文网/ 问答频道 /正文

我已经创建了一个蜘蛛,它可以获取twitter屏幕名称的所有以下内容。你知道吗

我有1000个这样的屏幕名称,我需要运行相同的蜘蛛,但不同的屏幕名称。你知道吗

屏幕名称用于更改起始url。你知道吗

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

screen_names = [...] # from database

for screen_name in screen_names:
    process.crawl(TwitterSpider(), start_urls=["https://mobile.twitter.com/{name}/following".format(name=screen_name)])        

process.start() 

现在这是失败的

2019-05-19 15:26:17 [scrapy.utils.signal] ERROR: Error caught on signal handler: >

AttributeError: 'TelnetConsole' object has no attribute 'port'


Tags: name名称urlmozillasignal屏幕namestwitter