带有下拉菜单的美化组网站

Question

我正在尝试刮一个网站，它有一个下拉菜单，用户可以选择数据显示的年份。然而，我似乎被困在我的实现。在

以下是网址：https://www.pgatour.com/tournaments/masters-tournament/past-results.html

这是一个个人项目，收集每年每一个主要锦标赛的高尔夫数据。我知道如何在一年被选中后提取所需的数据。在

下面是一个下拉菜单的网站html示例

<select name="year" id="pastResultsYearSelector" class="hasCustomSelect"
style="-webkit-appearance: menulist-button; width: 180px; position: absolute;
opacity: 0; height: 42px; font-size: 18px;">
            <option value="2019" selected="selected">2019</option>
            <option value="2018">2018</option>
            <option value="2017">2017</option>
            <option value="2016">2016</option>

以下是我目前所做的尝试：

^{pr2}$

然而，我的请求似乎无效，因为我得到的答复是找不到请求的页面。在

Answer 1

正如在评论中所提到的，你可以使用下面的url构造来按年更新内容

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://www.pgatour.com/content/pgatour/tournaments/masters-tournament/past-results/jcr:content/mainParsys/pastresults.selectedYear.{}.html'.format(2017))

soup = bs(r.content, 'lxml')

你会想做一些数据帧tifying，但是你可以用pandas来抓住表的句柄

^{pr2}$