Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我正在尝试获取此url中的所有表=”https://www.topuniversities.com/university-rankings/university-subject-rankings/2021/psychology".
问题是没有table标记，也没有<tr>和<td>标记。行中的所有数据都在嵌套的“div”标记中。
我使用的代码是：
from bs4 import BeautifulSoup
from selenium import webdriver
from webdriver_manager.firefox import GeckoDriverManager
import time
driver = webdriver.Firefox(executable_path=GeckoDriverManager().install())
driver.maximize_window()
driver.get(url)
time.sleep(5)
content = driver.page_source.encode('utf-8').strip()
soup = BeautifulSoup(content,"html.parser")
driver.quit()
print(soup)
另外，我只从嵌套的<div>标记中的一列（名为“totalscore”的列）获取数据。
我还意识到，soup输出中只有前10行的数据，但我正在尝试获取所有302行的数据
非常感谢你能给我的任何建议
编辑
在@KunduK的回答之后，我设法得到了我所期望的结果。这是我最后使用的代码：
res = requests.get('https://www.topuniversities.com/sites/default/files/qs-rankings-data/en/3519089_indicators.txt?1614801117').json()
df = pd.DataFrame(res["data"])
df = df[["uni", "region", "location", "city", "overall",
"ind_69", "ind_70", "ind_76", "ind_77"]]
headers = {"uni":"University", "overall": "Overall Score", "ind_69": "H-index Citations",
"ind_70": "Citations per Paper", "ind_76": "Academic Reputation", "ind_77": "Employer Reputation"}
df.rename(columns=headers, inplace=True)
for column in headers.values():
df[column] = df[column].apply(lambda value: BeautifulSoup(value, 'html.parser').find('div').text)
df
数据帧如下所示：
Tags： 数据from标记importdivurldfdriver
热门问题
- 为什么我的神经网络模型的准确性不能在这个训练集上得到提高？
- 为什么我的神经网络模型的权重变化不大？
- 为什么我的神经网络的成本不断增加？
- 为什么我的神经网络的输入pickle文件是19GB？
- 为什么我的神经网络给属性错误？“非类型”对象没有属性“形状”
- 为什么我的神经网络训练这么慢？
- 为什么我的神经网络输出错误？
- 为什么我的神经网络预测适用于MNIST手绘图像时是正确的，而适用于我自己的手绘图像时是不正确的？
- 为什么我的神经网络验证精度比我的训练精度高，而且它们都是常数？
- 为什么我的私人用户间聊天会显示在其他用户的聊天档案中？
- 为什么我的积分的绝对误差估计值大于积分（使用scipy.integrate.nqad）？
- 为什么我的积层回归器得分比它的组件差？
- 为什么我的移动方法不起作用？
- 为什么我的稀疏张量不能转换成张量
- 为什么我的稀疏张量不能转换成张量？
- 为什么我的程序“停止”了？
- 为什么我的程序一直试图占用所有可用的CPU
- 为什么我的程序不使用指定的代理
- 为什么我的程序不工作（python帮助中的反向函数）？
- 为什么我的程序不工作时，我使用多处理模块
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
您不需要selenium，如果您转到网络选项卡，您将看到下面的链接，该链接以json的形式返回数据。您需要遍历它并获取值
代码：
输出：
网络选项卡
我已经检查了您提供的URL。似乎数据（从XHR请求@https://www.topuniversities.com/sites/default/files/qs-rankings-data/en/3519089.txt?1616049862?v=1616050007711接收）是通过分页进行拆分的，这就是为什么您只看到其中的10个条目
处理此问题有两种选择：
相关问题 更多 >
编程相关推荐