利用搜索功能进行网页抓取并存储返回的网页结果

2024-03-29 08:43:14 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试使用https://www.homecentre.com/ae/en/中的搜索选项,并为每次搜索存储输出表中显示的产品数

import requests
from bs4 import BeautifulSoup
import pandas as pd

r = requests.get("https://www.homecentre.com/ae/en/", params=dict(
query="baby toys",
page=2
))

text = r.text

问题是它只显示第一页的源代码,而不是搜索到的源代码。你知道吗

我试图得到下面的网页的源代码,并保存22个产品作为我的输出

Output Page Screen-shot 我不确定这是逻辑错误还是什么。你知道吗


Tags: textfromhttpsimportcom源代码产品www
1条回答
网友
1楼 · 发布于 2024-03-29 08:43:14

首先,这个url上没有第二个页面。你知道吗

其次,您将请求发送到错误的链接。你知道吗

你需要做的是:

response = requests.get('https://www.homecentre.com/ae/en/search/', params=dict(q='baby toys'))

print(response.url)
# https://www.homecentre.com/ae/en/search/?q=baby+toys

相关问题 更多 >