从具有相同u的两个不同页中获取数据

Question

我试图从这个网站上删除数据

http://www.professorpaddle.com/rivers/riverlist.asp

对于不同的州，url是相同。为了例如华盛顿页和俄勒冈州页有相同的网址。怎么办编写一个脚本来根据用户在python中的选择为每个状态废弃数据？在

Answer 1

在这种情况下，数据是在页面上动态创建的。所以您应该执行一些post请求以从服务器获取数据。您可以使用requests完成此操作。如果您使用Firefox或googlechrome，那么可以使用inspect工具来查找页面javascript的请求类型。在这种情况下，可以通过以下方式获取数据：

import requests

# for Washington
data = requests.post("http://www.professorpaddle.com/rivers/riverlist.asp", data={"hstateid":13}).text 

要获取所有数据：

^{pr2}$