在websi中获取特定url属性的最大限制是什么

2024-03-29 14:37:21 发布

您现在位置:Python中文网/ 问答频道 /正文

我在excel工作表中有大约5到6k的URL,我需要用Python构建一个具有漂亮的soup包的scraper,方法是在excel中获取每个URL,并在该特定URL中刮取所需的属性,我需要循环所有5k URL

有可能一次就做到这一点吗

这些网站会因为数量大而阻止我们吗?有没有其他最佳方法可以做到这一点

请对此提出建议


Tags: 方法url数量属性网站scraperexcel建议
1条回答
网友
1楼 · 发布于 2024-03-29 14:37:21

您可以考虑以下几种方式:

  1. 以一定的间隔定期发送请求,如每5秒发送10次

  2. 使用不同的IP代理,所以服务器很难确定请求是否来自同一个客户端

相关问题 更多 >