如何获得一个滚动网站的所有HTML?

2024-04-20 09:54:39 发布

您现在位置:Python中文网/ 问答频道 /正文

我一直在尝试获取一些网站的HTML,但无法获取具有动态滚动的网站,例如this sitethis site

在第一个,你有一套产品,而你下去的产品出现,与相同的链接。你知道吗

在第二个你有30和+30产品为每一个滚动你下来,链接去改变。你知道吗

当我这么做的时候:

htmltext= urllib.urlopen(current_url).read()

在那htmltext中,我只找到第一组产品,例如134个产品中的30个,我想要全部。你知道吗

我怎样才能解决这个问题?你知道吗


Tags: urlread产品网站链接htmlsite动态