Python更改网站上的过滤器并使用按钮下载结果数据

Question

我正试图从这个网站下载2016年1月以来每周的前100个节目：http://www.barb.co.uk/project-dovetail/top-100-programmes-broadcasters-own-player-apps/

为此，我需要更改“年”、“月”和“周”筛选器，并更改“活动”筛选器，以便我可以获取“实时流”和“按需”每周的数据。其他过滤器将保持不变。一旦设置了正确的过滤器，我想下载得到的数据。这可以使用“下载CSV”按钮或任何其他方式来完成。在

我有一些有限的网页抓取经验，使用美丽的汤和要求。在

最好的办法是什么？在

谢谢！在

Answer 1

一般来说，要废弃数据，您必须查看浏览器在任何事件上发送给服务器的请求。在

在您的例子中，如果您签入web浏览器的开发人员工具，您可以很容易地发现浏览器发送了一个带有url http://barb-api.mediatel.co.uk/tv-player-report/top-programmes-broadcasters-own-player-apps的POST请求。在

因此，您可以使用requests.post()发送post请求，如：

req = requests.post('http://barb-api.mediatel.co.uk/tv-player-report/top-programmes-broadcasters-own-player-apps', data = {'period':201801060107,'activity':1,'player[]':6,'channel[]':27,'platform[]':1})

这里是period、activity、player[]、channel[]和{}过滤器的名称，您可以通过在浏览器开发工具中查看源代码来查看