我已经创建了一个蜘蛛,它可以获取twitter屏幕名称的所有以下内容。你知道吗
我有1000个这样的屏幕名称,我需要运行相同的蜘蛛,但不同的屏幕名称。你知道吗
屏幕名称用于更改起始url。你知道吗
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
screen_names = [...] # from database
for screen_name in screen_names:
process.crawl(TwitterSpider(), start_urls=["https://mobile.twitter.com/{name}/following".format(name=screen_name)])
process.start()
现在这是失败的
2019-05-19 15:26:17 [scrapy.utils.signal] ERROR: Error caught on signal handler: >
AttributeError: 'TelnetConsole' object has no attribute 'port'
目前没有回答
相关问题 更多 >
编程相关推荐