美国环保署航空市场计划数据（AMPD）API、Scrape或自动浏览器？（Python）

Question

我需要定期从以下网站查询和下载csv文件：

http://ampd.epa.gov/ampd/

我想自动化这个过程，并且知道EPA有一个面向开发人员的API，但是它没有特别包括上面的数据集（据我所知）。也没看到什么特别有启发性的东西：

http://data.gov/

不能简单地使用requests或urllib进行下载，因为数据似乎只能通过具有静态基址的web应用程序访问。在

那么，使用Selenium实现浏览器自动化的最佳/唯一解决方案是什么？或者存在其他方法吗？在

提前谢谢！在

Answer 1

我以前处理过这些数据，发现它们有一个FTP站点：ftp://ftp.epa.gov/dmdnload/。这里面有你要找的东西吗？对于小时排放量这样的数据，可以自动构造url（year+state+month），然后通过wget、curl等直接下载