使用python请求和BeautifulSoup从带有框架或flexbox的网站上刮取数据

Question

我一直想弄明白，但运气不好。我找到了一条我认为会有帮助的线索，但似乎没有任何进展

我要清理的网站是。。。http://www.northwest.williams.com/NWP_Portal/. 我特别想从“存储级别”的选项卡/框架中获取数据，但就我的一生而言，我似乎无法导航到正确的位置来获取数据。我尝试了下面代码的各种迭代，但都没有成功。我已将“lxml”更改为“html.parser”，查找表，查找“tr”等，但代码总是返回空。我也试过查看网络信息，但当我点击任何选项卡（系统状态、PAL/系统平衡等）时，我看不到网络活动有任何变化。我确信我忽略了一些简单的事情，但我就是不能把我的手指放在上面

from bs4 import BeautifulSoup as soup
import requests

url = 'http://www.northwest.williams.com/NWP_Portal/'

r = requests.get(url)

html = soup(r.content,'lxml')

page = html.findAll('div',{'class':'dailyOperations-panels'})

如何“导航”到“存储级别”框架/选项卡？我真正想要的html是什么？我能不能只点菜和靓汤？我并不反对使用Selenium，但我以前从未使用过它，如果可能的话，我更愿意使用requests和BeautifulSoup

提前谢谢

Answer 1

嘿，所以我注意到的是你试图从一个不起作用的div那里得到“dailyOperations面板”