在不更改url地址的情况下分析多个页面

Question

我希望解析来自here的表内容。但是，该表继续进入多个页面。我的问题是我不能从page 2开始解析页面，因为url地址没有变化。如何找到存储其他页面的url地址？我正在使用lxml和requests。你知道吗

Answer 1

如果打开Chrome DevTools并单击分页控件上的“2”，您将看到脚本请求获取页面“2”的日期：

POST https://www.mutualfundindia.com/MF/return/TopFundDetails?page=2

使用表单数据：

__RequestVerificationToken:AYv1N1VEGXTeLKMbnHolT_bste-CiFcH1GAjQgh1O7c_Ygm0-wIP3j47yN6e5tzYx3EumwCRBYcxI6825nH28W_qO60ZMlnAm4f1utRjqL4wgokl87pgsV4anV4vKtSjk6XV0g2
Rank:-1
Type:-1
Nature:-1
SubNature:-1
cmdAum:1
Period:1Year
ShortingOrder:DESC
hdHeaderId:1Year

您可以在页面上的元素中找到\uu RequestVerificationToken的值：

<input name="__RequestVerificationToken"...

请求的响应是纯HTML。你知道吗

我想，如果你提出这样的请求，你就可以解析所有的日期。你知道吗

希望，这有帮助。你知道吗