从从表单生成csv文件的网站上进行的网站抓取(http://njdep.rutgers.edu/continuous/data.php)

Question

我感兴趣的是从http://njdep.rutgers.edu/continuous/data.php中抓取数据集，以便创建一个闪亮的应用程序，允许用户搜索该站点包含的数据。你知道吗

一旦你在网站上填写了表格，它就可以生成一个.csv文件。有没有办法找出从最早日期到最近状态的所有数据存储在哪里，并使用R包或python包将其提取出来？你知道吗

Answer 1

在浏览器中，您可以右键单击并检查页面。单击“下载”按钮时，可以在“网络”选项卡中看到底层RESTAPI。应该是这样的：

http://njdep.rutgers.edu/continuous/data/downloadData.php?affiliation=NJDEP+-+Marine+Water+Monitoring&project=-1&huc14=-1&county=-1&munis=-1&station_type=-1&station=-1&start_date=&end_date=&params=

如果您更改各种表单参数，您可以了解如何更改url以获得不同的数据变体。然后可以使用类似requests的包以python格式获取数据。你知道吗

import requests

url = 'your_modified_url'
res = requests.get(url)
res.raise_for_status()
data = res.content