一个网站有没有可能在刮汤的时候把部分藏起来？

Question

我在尝试用python包漂亮的soup来刮网站时遇到了一个问题。不知怎么的，除了我感兴趣的那部分以外，我从中得到了一切。我正试图从这个站点https://www.bitfinex.com/获取实时数据。在

我真的把实时数据的每一部分都排除在外，我认为它以某种方式与数据所在的容器内的脚本块相连。Firefox和Chrome可以很容易地检查这一部分，但是BeautifulSoup却不知何故得不到它。在

我很感激你的每一个建议！在

Answer 1

你为什么不使用API？在

许多网站确实会检测并阻止正在抓取数据的蜘蛛。而且，每次更新用户界面时，你的刮板都会坏掉。在

BitFinex上的实时数据可能在页面加载后由Javascript通过AJAX填充。在