我想并行我的刮削脚本,它是用python编写的,使用漂亮的soup。尽管我已经读过了,但对于如何让它在我的代码中工作,我还是感到困惑。 我现在要做的是将一个链接列表作为输入,打开几个浏览器/选项卡将这个url作为输入。很显然,稍后我想包括我的全部代码,并从每一个侧面进行删节。但我无法迈出这第一步。你知道吗
以下是我的尝试:
Test_links = ['https://www.google.com/maps', 'https://www.google.co.uk/?
gfe_rd=cr&dcr=0&ei=3vPNWpTWOu7t8weBlbXACA', 'https://scholar.google.de/']
def get_URL(Link):
browser = webdriver.Chrome(chrome_options = options)
browser.get(Link)
if __name__ == '__main__':
pool = Pool(processes=5)
pool.map(get_URL, Link)
我不确定这是否适合你,但我认为你的名字有问题。尽量不要将变量大写,因为我认为它们与对象混淆了。你可以试试这样的方法看看这个理论是否正确。你知道吗
我不确定浏览器.get()将获取一个列表,您可能需要遍历调用该列表的浏览器。你知道吗
相关问题 更多 >
编程相关推荐