2024-03-29 14:37:21 发布
网友
我在excel工作表中有大约5到6k的URL,我需要用Python构建一个具有漂亮的soup包的scraper,方法是在excel中获取每个URL,并在该特定URL中刮取所需的属性,我需要循环所有5k URL
有可能一次就做到这一点吗
这些网站会因为数量大而阻止我们吗?有没有其他最佳方法可以做到这一点
请对此提出建议
您可以考虑以下几种方式:
以一定的间隔定期发送请求,如每5秒发送10次
使用不同的IP代理,所以服务器很难确定请求是否来自同一个客户端
您可以考虑以下几种方式:
以一定的间隔定期发送请求,如每5秒发送10次
使用不同的IP代理,所以服务器很难确定请求是否来自同一个客户端
相关问题 更多 >
编程相关推荐