我正在尝试使用多处理,其想法是从Bing搜索结果中获取链接,但使用selenium更改其中一个配置(cep配置)。我有一个列表(filecep)中的所有cep,我想把所有结果写在一个csv文件中。 这是我的getUrlCleans函数:
def getUrlCleans(search):
driver = webdriver.Firefox()
f = open('out/'+str(date.today())+'.csv','w')
f.write('url,cep')
f.write('\n')
url_cleans=[]
pool=mp.Pool(mp.cpu_count())
pool.starmap(getUrlbyCEP,[(cep,driver,search,f) for cep in filecep])
pool.close()
f.close()
这是我的getUrlbyCEP函数:
def getUrlbyCEP(cep,driver,search,f):
driver.get('https://www.bing.com/account/general?ru=https%3a%2f%2fwww.bing.com%2f%3fFORM%3dZ9FD1&FORM=O2HV65#location')
cepInput = driver.find_element_by_id('geoname')
cepInput.clear()
cepInput.send_keys(cep)
time.sleep(0.5)
driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
saveButon=driver.find_element_by_id('sv_btn')
saveButon.click()
try:
driver.find_element_by_id('geoname')
# continue
except:
pass
searchInput=driver.find_element_by_id('sb_form_q')
searchInput.send_keys(search)
driver.find_element_by_id('sb_form_q').send_keys(Keys.ENTER)
time.sleep(0.5)
url_cleans=[]
for i in range(2):
url_cleans=getLinks(driver,url_cleans)
time.sleep(2)
driver.find_element_by_xpath('//*[@title="Próxima página"]').click()
url_cleans=getLinks(driver,url_cleans)
for u in url_cleans:
f.write(u+','+cep)
f.write('\n')
最后我打电话
getUrlCleans('sulamerica')
它给了我一个错误。。。。我不知道为什么
因此,我没有使用多处理,而是使用了线程,而且很有效。这是我要改变的,而不是:
从多进程库(mp)中,我使用了以下内容:
相关问题 更多 >
编程相关推荐