我目前正在尝试在1到5分钟内自动从网站抓取一些股票交易数据stooq.com网站. 我尝试过使用BeautifulSoup
从bs4
获取它,但既不能在网站的表中找到它,也无法获得html5图表的底层数据。在
这是指向包含html5图表的网站的链接:
dax_link = 'https://stooq.com/q/a2/?s=^dax&i=1&t=l&a=lg&z=500&ft=201808141221&l=0&d=1&ch=0&f=0<=57&r=0&o=1'
我用beauthulsoup试过以下方法:
import pandas as pd
import requests
import re
from bs4 import BeautifulSoup as bs
stooq_dax = ('https://stooq.com/q/a2/?s=^dax&i=1&t=l&a=lg'
'&z=500&ft=201808141221&l=0&d=1&ch=0&f=0<=57&r=0&o=1')
reqstdax = requests.get(stooq_dax)
stdax = reqstdax.content
soupstdax = bs(stdax)
tbls_dax = soupstdax.table
df = pd.read_html(str(tbls_dax))
但31个数据帧中没有一个包含任何有用的数据。在
我还试着在网站上找到一些特定的值,比如
^{pr2}$这是时间2018-08-14,15:24:00
时的“open”值,但找不到任何值。在
当然,我可以通过单击右下角的csv按钮来获得这些值,但这无法自动化,因为csv生成的链接是隐藏的(我没有设法重建它)。在
有什么方法可以获取图表的底层数据或找到生成csv文件的正确链接吗?
提前谢谢!在
如果您在Chrome或FireFox中查看网页,您会看到它在使用XHR来:
您可以直接访问它以获取更新页面的数据:
^{pr2}$这就是你想要的数据吗?在
更新 看起来初始数据来自这里:
201808141633是一个时间戳(2018/08/14 16:33)
相关问题 更多 >
编程相关推荐