如何使用selenium在单击事件上下载文件?

2024-03-28 22:29:05 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在研究python和selenium。我想使用selenium从clickevent下载文件。我写了以下代码。

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys

browser = webdriver.Firefox()
browser.get("http://www.drugcite.com/?q=ACTIMMUNE")

browser.close()

我想下载这两个文件从链接与名称“导出数据”从给定的网址。如何实现它,因为它只与点击事件工作?


Tags: 文件代码fromimportbrowsergetseleniumcommon
3条回答

我承认这个解决方案比Firefox Profile saveToDisk替代方案更“黑”一些,但它同时适用于Chrome和Firefox,并且不依赖于随时可能更改的浏览器特定功能。如果没有别的,也许这会给人们一个不同的视角来看待如何解决未来的挑战。

先决条件:确保已安装selenium和pyvirtualdisplay。。。

  • Python2:sudo pip install selenium pyvirtualdisplay
  • Python3:sudo pip3 install selenium pyvirtualdisplay

魔法

import pyvirtualdisplay
import selenium
import selenium.webdriver
import time
import base64
import json

root_url = 'https://www.google.com'
download_url = 'https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png'

print('Opening virtual display')
display = pyvirtualdisplay.Display(visible=0, size=(1280, 1024,))
display.start()
print('\tDone')

print('Opening web browser')
driver = selenium.webdriver.Firefox()
#driver = selenium.webdriver.Chrome() # Alternately, give Chrome a try
print('\tDone')

print('Retrieving initial web page')
driver.get(root_url)
print('\tDone')

print('Injecting retrieval code into web page')
driver.execute_script("""
    window.file_contents = null;
    var xhr = new XMLHttpRequest();
    xhr.responseType = 'blob';
    xhr.onload = function() {
        var reader  = new FileReader();
        reader.onloadend = function() {
            window.file_contents = reader.result;
        };
        reader.readAsDataURL(xhr.response);
    };
    xhr.open('GET', %(download_url)s);
    xhr.send();
""".replace('\r\n', ' ').replace('\r', ' ').replace('\n', ' ') % {
    'download_url': json.dumps(download_url),
})

print('Looping until file is retrieved')
downloaded_file = None
while downloaded_file is None:
    # Returns the file retrieved base64 encoded (perfect for downloading binary)
    downloaded_file = driver.execute_script('return (window.file_contents !== null ? window.file_contents.split(\',\')[1] : null);')
    print(downloaded_file)
    if not downloaded_file:
        print('\tNot downloaded, waiting...')
        time.sleep(0.5)
print('\tDone')

print('Writing file to disk')
fp = open('google-logo.png', 'wb')
fp.write(base64.b64decode(downloaded_file))
fp.close()
print('\tDone')
driver.close() # close web browser, or it'll persist after python exits.
display.popen.kill() # close virtual display, or it'll persist after python exits.

说明

我们首先在要下载文件的域上加载一个URL。这允许我们在该域上执行AJAX请求,而不会遇到cross site scripting问题。

接下来,我们将向DOM中注入一些javascript,这将触发AJAX请求。一旦AJAX请求返回响应,我们就获取响应并将其加载到FileReader对象中。在那里,我们可以通过调用readAsDataUrl()来提取文件的base64编码内容。然后,我们获取base64编码的内容,并将其附加到window,一个全局可访问的变量。

最后,因为AJAX请求是异步的,所以我们输入一个Python while循环,等待内容追加到窗口中。一旦它被追加,我们就解码从窗口检索到的base64内容并将其保存到一个文件中。

这个解决方案应该可以在Selenium支持的所有现代浏览器上运行,并且可以在文本或二进制以及所有mime类型上运行。

替代方法

虽然我还没有测试过,但是Selenium确实提供了等待元素出现在DOM中的能力。您可以在DOM中创建一个具有特定ID的元素,并使用该元素的绑定作为触发器来检索下载的文件,而不是在填充全局可访问的变量之前循环。

使用find_element(s)_by_*查找链接,然后调用click方法。

from selenium import webdriver

# To prevent download dialog
profile = webdriver.FirefoxProfile()
profile.set_preference('browser.download.folderList', 2) # custom location
profile.set_preference('browser.download.manager.showWhenStarting', False)
profile.set_preference('browser.download.dir', '/tmp')
profile.set_preference('browser.helperApps.neverAsk.saveToDisk', 'text/csv')

browser = webdriver.Firefox(profile)
browser.get("http://www.drugcite.com/?q=ACTIMMUNE")

browser.find_element_by_id('exportpt').click()
browser.find_element_by_id('exporthlgt').click()

添加了配置文件操作代码以防止下载对话框。

在chrome中,我要做的是通过单击链接下载文件,然后打开chrome://downloads页面,然后从shadow DOM检索下载的文件列表,如下所示:

docs = document
  .querySelector('downloads-manager')
  .shadowRoot.querySelector('#downloads-list')
  .getElementsByTagName('downloads-item')

此解决方案仅限于chrome,数据中还包含文件路径和下载日期等信息。(注意,此代码来自JS,可能不是正确的python语法)

相关问题 更多 >