python3,如何使用Python保存此页面中的数据?

2024-04-19 03:10:05 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图使用python3.x保存来自this page的价格数据

我希望我的脚本遍历基金提供者下拉列表下的每个选项,然后将结果表保存到本地文件中。在

不幸的是,当我查看源代码时,似乎所有的菜单选项和表数据都来自JSON文件,我不确定从哪里开始,因为我似乎无法从浏览器读取文件。我知道如何使用urlretrieve,并将其用于简单的静态网页,但我的技能还不够先进,无法浏览复杂的多资源文档。在

任何关于我如何实现目标的建议都将不胜感激。在


Tags: 文件数据脚本json列表源代码基金选项
1条回答
网友
1楼 · 发布于 2024-04-19 03:10:05

抱歉,复制并粘贴了错误的URL。不管怎样,我找到了解决办法。我需要做的是:

  • 使用Firebug(Firebug的一个扩展)来标识json文件的位置以及发布的信息。在
  • 然后使用urlretrieve下载数据,包括每个请求的post信息

示例代码:

from urllib.request import urlretrieve
import urllib

url   = 'http://www.example.com'
values = {'example_param1' : 'example value 1',
          'example_param2' : 'example value 2'}

data = urllib.parse.urlencode(values)
data = data.encode('utf-8') # data should be bytes

save_path = save_root + fund_provider + '.json'
urlretrieve(url, save_path, data=data )

相关问题 更多 >