以编程方式滚动外部网页以加载内容

Question

我正试图从一个（很长的）网页上搜寻一些内容。
我使用的是Python的BeatifulSoup库，但不限于Python。我面临的问题是，页面只加载一小部分内容，而且，一旦用户滚动到页面的顶部/底部，就会加载更多的内容。你知道吗

当滚动条点击顶部/底部时，会调用一个javascript函数，触发服务器加载更多数据。有没有一种方法可以让我以编程方式滚动页面，或者调用让页面加载更多数据的函数，这样我就拥有了所有可用的内容？ 我知道我可以只使用VBScript来控制窗口和滚动，但理想情况下，我正在寻找一个更优雅的解决方案，使我能够提取数据和滚动页面的同时。你知道吗

Answer 1

您可以检查下面的answer，也可以检查net面板并调用当页面到达页面底部时调用的相同url或方法