用python并行化漂亮的刮汤器

2024-03-29 10:09:44 发布

您现在位置:Python中文网/ 问答频道 /正文

我想并行我的刮削脚本,它是用python编写的,使用漂亮的soup。尽管我已经读过了,但对于如何让它在我的代码中工作,我还是感到困惑。 我现在要做的是将一个链接列表作为输入,打开几个浏览器/选项卡将这个url作为输入。很显然,稍后我想包括我的全部代码,并从每一个侧面进行删节。但我无法迈出这第一步。你知道吗

以下是我的尝试:

Test_links = ['https://www.google.com/maps', 'https://www.google.co.uk/? 
gfe_rd=cr&dcr=0&ei=3vPNWpTWOu7t8weBlbXACA', 'https://scholar.google.de/']

def get_URL(Link):
    browser = webdriver.Chrome(chrome_options = options)
    browser.get(Link)

if __name__ == '__main__':
    pool = Pool(processes=5)
    pool.map(get_URL, Link)

Tags: 代码httpsbrowser脚本url列表get链接
1条回答
网友
1楼 · 发布于 2024-03-29 10:09:44

我不确定这是否适合你,但我认为你的名字有问题。尽量不要将变量大写,因为我认为它们与对象混淆了。你可以试试这样的方法看看这个理论是否正确。你知道吗

test_links = ['https://www.google.com/maps', 'https://www.google.co.uk/? 
gfe_rd=cr&dcr=0&ei=3vPNWpTWOu7t8weBlbXACA', 'https://scholar.google.de/']

def get_URL(test_links_list):
    browser = webdriver.Chrome(chrome_options = options)
    browser.get(test_links_list)

if __name__ == '__main__':
    pool = Pool(processes=5)
    pool.map(get_URL, test_links)

我不确定浏览器.get()将获取一个列表,您可能需要遍历调用该列表的浏览器。你知道吗

相关问题 更多 >