获取与浏览器检查选项相同的Wepage数据

2022-07-06 11:37:08 发布

您现在位置:Python中文网/ 问答频道 /正文

当我转到以下网站:https://www.bvl.com.pe/mercado/movimientos-diarios并使用Selenium的page_source选项或urllib.request.urlopen时,我得到的字符串与转到Google Chrome时不同,在上下文菜单中打开INSPECT选项并复制整个内容

从我的研究中,我了解到这与网页上运行的Javascript有关,我得到的是基本HTML

我可以使用什么代码(Python)来获得相同的信息


2条回答
网友
1楼 ·

经过反复研究,我找到了一个在大多数情况下都有效的解决方案。使用无头铬合金与转储dom开关

https://developers.google.com/web/updates/2017/04/headless-chrome

在Python中,以编程方式使用子流程模块在shell中运行Chrome,并将输出分配给变量或将输出定向到文本文件

网友
2楼 ·

这种行为完全依赖于浏览器。浏览器接收原始HTML,对其进行处理,运行JS脚本(通常),使用CSS设置样式,并执行许多其他操作。因此,要在Python中获得这样的结果,您必须制作自己的web浏览器