Selenium WebDriver在循环中占用所有内存

1 投票
1 回答
1792 浏览
提问于 2025-04-18 16:54

我遇到了关于进程和内存使用的问题。我写了一个脚本,用来通过selenium webdriver和PhantomJS解析一些网页。这个脚本运行得不错,但我的代码需要一些优化。

我启动脚本后,过了一会儿,我的内存就满了,因为我有很多phantomjs进程在运行。

怎么解决这个问题呢?我的代码如下:

server.py

from selenium import webdriver
import radio
import urllib2
class Server(object):
    running = False
    radio_dir = "db/radio.txt"
    def __init__(self):
        """Choose browser from selenium webdrivers"""
        self.browser2 = webdriver.PhantomJS()
        self.r = radio.RadioParser(self.browser2)
        self.running = True
    def loop(self):
        """main server loop"""
        while self.running:
            radio_str = self.r.parse()
            self.save(self.radio_dir, radiozet_str)
            time.sleep(30)
    def save(self, location, string):
        """Put location and string to override db files"""
        try:
            file = open(location, 'w')
            file.write(string)
        except IOError:
            print "IOError"
        finally:
            file.close()

if __name__ == "__main__":
    s = Server()
    s.loop()

还有radio.py

class RadioParser(object):
    url = "http://www.radiourl/index.html"
    def __init__(self, browser):
        self.driver = browser
    def parse(self):
        self.driver.get(self.url)
        song = (self.driver.find_element_by_class_name("artist").text +u" - " +
                self.driver.find_element_by_class_name("album").text)
        print song
        return str(song)

1 个回答

1

你应该关闭你的webdriver,使用

self.driver.quit()    

撰写回答