Python读取http:html页面,如浏览器中的javascripts结果所示

2024-03-28 12:56:26 发布

您现在位置:Python中文网/ 问答频道 /正文

在运行javascripts之后,我能得到浏览器中看到的http页面吗?无需提交数据和按键。不管这是什么标准任务,我在哪里可以看到运行所有脚本并获得结果的示例

通过:

u = urllib.request.urlopen('https://www.*')
data = u.read()

如果我在浏览器中选择“查看源代码”,我会看到页面。但是,当我检查页面上的元素时,我看到代码是如何扩展的,例如:

<div class="js-events-container"></div>

扩展到:

<div class="js-events-container">    <table class="zebra noBorderTbl" style="width: 100%;">
        <tbody><tr>
            <th>1</th>
            <th>2</th>
            <th>3</th>
        </tr>
...
        </tr>
            </tbody></table>
</div>

Tags: 数据divhttpcontainerjstable浏览器页面
3条回答

我现在使用selenium加载页面,然后获取page_source。不管名称如何,page_source给出的不是页面源代码,而是运行java脚本后的页面结果

我在类名中看到了js,它可能是javascript,我认为没有办法用urllib获得完整的页面。您需要在javascript启动后拉取站点。你将需要硒或幻影来做这项工作

您还可以查看这个特定的库dryscape。根据文档,它支持javascript

相关问题 更多 >