BeatifulSoup、网络垃圾、Imgaes

Question

嗨，我正在用python学习webscraping，当我试图从一个名为pexel的网站上抓取一些图像时，我遇到了一个问题。终端上没有显示任何图像。然而，当我尝试另一个具有相同代码的网站时，它工作了。你知道为什么会发生这种情况吗？ 这是两个州相同的代码，我只更改了URL

from bs4 import *
import requests as rq
import os
req = rq.get('https://unsplash.com/s/photos/earth').text
soup = BeautifulSoup(req,'lxml')

links = []

k = soup.select('img[src^="https://images.unsplash.com/photo"]')
for s in k:
    print(s)

在我能够从unsplash网站上刮取图像后，它只刮取了15张图像，其中一半是重复的，有没有办法刮取更多的图像；怎样 当我请求网页时，整个页面是否被下载？我的意思是，当你打开一个页面时，有时你需要向下滚动，然后下载的一些图像就是我请求时你需要向下滚动的那些图像

这是一个很长的问题谢谢你抽出时间

Answer 1

我试着在unsplash中滚动到底部，然后我发现一些URL总是被称为

1. https://unsplash.com/napi/search/photos?query=earth&per_page=20&page=2&xp=
2. https://unsplash.com/napi/search/photos?query=earth&per_page=20&page=2&xp=
3. 等等

请在网络部分查看XHR。如果您关心的是获取与查询相关的图像，或者如果我错误地理解了您的问题，请务必让我知道

Answer 2

尝试将selenium库用于您的作业