使用分页从地理数据集获取搜索结果的url链接

Question

我想从这一页的搜索结果中获得每篇文章的所有链接： https://www.ncbi.nlm.nih.gov/gds/?term=lung+cancer

但是我在获取下一页的url时遇到了问题。从<div class="pagination">可以看出：

<a name="EntrezSystem2.PEntrez.Gds.Gds_ResultsPanel.Entrez_Pager.Page" title="Next page of results" class="active page_link next" href="#" sid="3" page="2" accesskey="k" id="EntrezSystem2.PEntrez.Gds.Gds_ResultsPanel.Entrez_Pager.Page">Next &gt;</a>

因此，我使用python urllib检索下一页的url，以便使用BeautifulSoup获取其内容：

param2=urllib.urlencode({'sid':3,'page':2,'accesskey':'k','id':'EntrezSystem2.PEntrez.Gds.Gds_ResultsPanel.Entrez_Pager.Page'})

f2=urllib.urlopen('https://www.ncbi.nlm.nih.gov/gds/?term=lung+cancer',param2)

soup2 = BeautifulSoup(f2.read(), 'html.parser')

现在的问题是，即使我把页码从1改为10，我也总能得到第一页的内容。有人能告诉我我做错了什么吗

Answer 1

为了获得下一页，你应该发送大量的数据（通过发帖请求）。在任何浏览器中使用开发人员工具检查需要发送的数据

（并非显示所有数据）