序列化 Selenium Webdriver 对象

Question

我想把一个selenium的webdriver对象进行序列化，然后存储起来，这样我就可以在代码的其他地方使用它。我尝试用pickle来实现这个。如果有其他方法可以保存webdriver对象的状态，以便我以后再用，那就太好了（我不能简单地重新加载网址，因为我关注的网站都是重JavaScript的，当前页面的内容依赖于我之前点击的内容）。

目前，我的代码是这样的。

import pickle
from selenium import webdriver

d = webdriver.PhantomJS()
d.get(url)
d.find_element_by_xpath(xpath).click()
p = pickle.dumps(d, pickle.HIGHEST_PROTOCOL)
# Stuff happens here.
new_driver = pickle.loads(p)
print new_driver.page_source.encode('utf-8', 'ignore')

当我运行这段代码时，我遇到了以下错误（错误发生在我打印的时候，而不是之前）：

    return self.driver.page_source.encode('utf-8', 'ignore')
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 436, in page_source
    return self.execute(Command.GET_PAGE_SOURCE)['value']
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 163, in execute
    response = self.command_executor.execute(driver_command, params)
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 349, in execute
    return self._request(url, method=command_info[0], data=data)
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 396, in _request
    response = opener.open(request)
File "/usr/lib/python2.7/urllib2.py", line 404, in open
    response = self._open(req, data)
File "/usr/lib/python2.7/urllib2.py", line 422, in _open
    '_open', req)
File "/usr/lib/python2.7/urllib2.py", line 382, in _call_chain
    result = func(*args)
File "/usr/lib/python2.7/urllib2.py", line 1214, in http_open
    return self.do_open(httplib.HTTPConnection, req)
File "/usr/lib/python2.7/urllib2.py", line 1184, in do_open
    raise URLError(err)
urllib2.URLError: <urlopen error [Errno 111] Connection refused>

我可以序列化我的webdriver对象吗？如果不行，我还有什么其他选择？

更新：

经过进一步检查，即使我再次执行像d.get(url)这样的操作，而不是打印页面源代码，它也会给我同样的错误。webdriver对象在被序列化和反序列化时会发生什么吗？

Answer 1

你不需要把webdriver对象进行序列化。只需要保存executor_url和session_id这两个信息即可（而不是使用pickle.dump()）。然后创建一个新的webdriver对象，并把它连接到已有的会话中（而不是使用pickle.load()）。

def attach_to_session(executor_url, session_id):
    original_execute = WebDriver.execute

    def new_command_execute(self, command, params=None):
        if command == "newSession":
            return {'success': 0, 'value': None, 'sessionId': session_id}
        else:
            return original_execute(self, command, params)

    WebDriver.execute = new_command_execute
    driver = webdriver.Remote(command_executor=executor_url)
    driver.session_id = session_id
    WebDriver.execute = original_execute
    return driver

Answer 2

根据我使用Protractor和C#架构的经验：

基本用法可能会让人误解，也就是说，当你在C#中使用ChromeDriver时，你看到的只是背后复杂操作的表面。但是，声明和初始化一个webDriver其实是在创建并启动一个“服务器”（在Protractor中这是手动完成的）。这个webDriver会利用这个服务器的一些功能和状态。

我把webDriver看作不是一个对象，而是一个API。把这个API表现成一个对象是为了方便使用，所以我认为你问的事情是不可能实现的。

Answer 3

我成功地将一个selenium.webdriver.Remote对象进行了序列化（也就是把它保存到文件里）。但是，使用dill或pickle来序列化selenium.webdriver.Chrome对象时却不行，因为这个对象会创建并运行浏览器进程。不过，如果我按照以下步骤操作，就可以成功了：首先，运行一个独立的Java selenium2网络服务器；然后，在一个进程中，创建一个到那个服务器的selenium.webdriver.Remote连接，并把它序列化保存到文件；最后，在另一个进程中，反序列化这个Remote实例并使用它。

这样做的好处是，我可以关闭Python进程，然后重新连接到已经存在的webdriver浏览器，并发出新的命令（这些命令可以来自不同的Python脚本）。如果我关闭了selenium网页浏览器，就需要从头再创建一个新的实例。

server.py:

import pickle
import selenium.webdriver

EXECUTOR = 'http://127.0.0.1:4444/wd/hub'
FILENAME = '/tmp/pickle'

opt = selenium.webdriver.chrome.options.Options()
capabilities = opt.to_capabilities()
driver = selenium.webdriver.Remote(command_executor=EXECUTOR, desired_capabilities=capabilities)
fp = open(FILENAME, 'wb')
pickle.dump(driver, fp)

client.py:

import pickle

FILENAME = '/tmp/pickle'

driver = pickle.load(open(FILENAME, 'rb')
driver.get('http://www.google.com')
el = driver.find_element_by_id('lst-ib')
print(el)

注意（2020-08-08）：以这种方式序列化selenium在最新的selenium（4.x）中不再有效。因为pickle无法序列化一个内部的socket对象。一个解决办法是，在setup.py的install_requires部分添加'selenium=3.141.0'，这样对我来说还是有效的。