Selenium WebDriver在循环中占用所有内存
我遇到了关于进程和内存使用的问题。我写了一个脚本,用来通过selenium webdriver和PhantomJS解析一些网页。这个脚本运行得不错,但我的代码需要一些优化。
我启动脚本后,过了一会儿,我的内存就满了,因为我有很多phantomjs进程在运行。
怎么解决这个问题呢?我的代码如下:
server.py
from selenium import webdriver
import radio
import urllib2
class Server(object):
running = False
radio_dir = "db/radio.txt"
def __init__(self):
"""Choose browser from selenium webdrivers"""
self.browser2 = webdriver.PhantomJS()
self.r = radio.RadioParser(self.browser2)
self.running = True
def loop(self):
"""main server loop"""
while self.running:
radio_str = self.r.parse()
self.save(self.radio_dir, radiozet_str)
time.sleep(30)
def save(self, location, string):
"""Put location and string to override db files"""
try:
file = open(location, 'w')
file.write(string)
except IOError:
print "IOError"
finally:
file.close()
if __name__ == "__main__":
s = Server()
s.loop()
还有radio.py
class RadioParser(object):
url = "http://www.radiourl/index.html"
def __init__(self, browser):
self.driver = browser
def parse(self):
self.driver.get(self.url)
song = (self.driver.find_element_by_class_name("artist").text +u" - " +
self.driver.find_element_by_class_name("album").text)
print song
return str(song)
1 个回答
1
你应该关闭你的webdriver,使用
self.driver.quit()