用scrapy刮“查看更多”按钮

Question

我试图从这个页面https://hipages.com.au/find/electricians/wa/perth中获取数据，但是有一个“查看更多”按钮。我不知道该用哪个网址来获取更多的数据。你知道吗

我检查了网页，打开了网络标签，但我找不到一个好办法，用Scrapy刮去所有的数据。你知道吗

我知道我可以使用Selenium，但是有超过200000个url，所以我不能使用Selenium，因为获取所有数据需要几个星期。你知道吗

Answer 1

网站使用API，因此您可以使用它。 例如：https://hipages.com.au/api/directory/sites?suburb=perth&state=wa&category=8&page=1&perpage=10&code=111d887415230e233b23fdaae8e160d62715d99d7c417a33c1ca27c0b47b3a6ce810db7af2cec77fe5a629d12ad9cc68

然后可以操作url的查询参数，然后通过Scrapy获取数据。你知道吗