python中使用不同代理请求url

2021-03-01 02:28:33 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图检索一些网页,是谷歌搜索结果和缓存。实际上我现在有两个问题。我通常可以下载前10个结果,但不能让它工作到“下一个”10页。我试图使用正则表达式在页面中找到下一个控件,然后从那里开始,我无法使它工作。 但我的另一个问题,更重要的是,我的ip地址被谷歌屏蔽,我无法再查看缓存的结果。所以我想到的一个解决方案是使用一个代理来发出url请求,并每隔一段时间更新这个代理。但我不知道怎么做这个工作。我试图找到一个好的解决方案,但我无法找到一个好的解决方案。 如果你能给我一些建议,我会很高兴的。在