一个网站有没有可能在刮汤的时候把部分藏起来?

2024-03-29 11:29:09 发布

您现在位置:Python中文网/ 问答频道 /正文

我在尝试用python包漂亮的soup来刮网站时遇到了一个问题。不知怎么的,除了我感兴趣的那部分以外,我从中得到了一切。我正试图从这个站点https://www.bitfinex.com/获取实时数据。在

我真的把实时数据的每一部分都排除在外,我认为它以某种方式与数据所在的容器内的脚本块相连。Firefox和Chrome可以很容易地检查这一部分,但是BeautifulSoup却不知何故得不到它。在

我很感激你的每一个建议!在


Tags: 数据https脚本com站点网站www方式
2条回答

你为什么不使用API?在

许多网站确实会检测并阻止正在抓取数据的蜘蛛。而且,每次更新用户界面时,你的刮板都会坏掉。在

BitFinex上的实时数据可能在页面加载后由Javascript通过AJAX填充。在

回答你的问题,是的,一个网站有可能阻止或删除任何它认为合适的机器人或任何类型的连接的内容。 如果您还没有设置用户代理,请尝试一下。 如果不知道你已经尝试了什么,就很难给出如何继续的建议。在

相关问题 更多 >