在Python中使用不同代理请求URL
我正在尝试获取一些谷歌搜索结果的页面,并且这些页面是缓存的。其实我现在有两个问题。首先,我可以正常下载前十个搜索结果,但我不知道怎么去获取“下一组”十个结果。我试过用正则表达式来查找页面中的“下一页”按钮,但没能成功。
不过我更重要的问题是,我的IP地址被谷歌封锁了,所以我无法查看缓存的结果。对此,我想到一个解决办法,就是使用代理来发送网址请求,并且定期更换这个代理。但我不知道该怎么做。我在网上搜索了解决方案,但没有找到好的方法。
如果你能给我一些建议,我会非常感激。
1 个回答
1
你是在问第五个例子吗?或者说第三个例子呢?