使用启用Cookies的Python请求进行Web爬网

Question

我正在尝试爬网此特定网页： https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets

使用以下代码行：

page = requests.get("https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets")

但是，该页面带有默认的“表”视图。但我想要爬网的网页是在启用“列表视图”时。如何请求启用“列表”视图的网页，如下图所示：

Answer 1

通过Google Chrome的network标签，我觉得这个网站通过设置cookie知道显示哪个视图，所以如果你想以列表的形式查看，你可以在你的请求中设置cookie

requests.get("https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets", cookies={'pv':'list'})

将来您可以检查this reference，以帮助您了解在浏览时实际发生的情况