使用美丽的汤网站，将不会完全没有滚动加载

Question

我正试图从this站点中获取公司名称，但该站点不会自动显示公司的完整列表。当通过浏览器进行交互时，网站会加载~25家公司，当我滚动时，它会再加载~25家公司，直到到达列表的末尾。当我用靓汤刮公司名字的时候，我只得到25个名字。你知道吗

有没有办法用漂亮的汤（或者python中的其他库）刮去所有的名字？你知道吗

Answer 1

向下滚动时加载的数据是一个额外的请求URL，http://fortune.com/api/v2/list/1141696/expand/item/ranking/asc/20/30

20-当前页中的项目数，30-下一页中要获取的项目数。你知道吗

如果你想得到下一个页面，你需要像这样形成URL

http://fortune.com/api/v2/list/1141696/expand/item/ranking/asc/50/30http://fortune.com/api/v2/list/1141696/expand/item/ranking/asc/80/30http://fortune.com/api/v2/list/1141696/expand/item/ranking/asc/110/30 等等。你知道吗

这不能在BeautifulSoup中呈现，因为它是一个json响应。你知道吗

公司列表存储在json响应的值list-items中。你知道吗