Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我想刮所有的结果刚刚拨号搜索结果页。但是我只得到了前10个结果，因为它使用了延迟加载
import requests
from bs4 import BeautifulSoup
url = 'https://www.justdial.com/Kolkata/Travel-Agents/nct-10496380/page-2'
header = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'}
r = requests.get(url,headers=header,verify=False)
但使用这个我只能得到10个结果，但我需要该页面的所有结果。 在延迟加载期间，它会点击下面的URL 'https://www.justdial.com/functions/ajxsearch.php?national_search=0&act=分页新&；城市=加尔各答&；搜索=旅行社%20；式中=&；catid=0&；psearch=&；prid=&；页码=3&；SID=&；mntypgrp=0&；toknbkt=&；记账日期=&；jdsrc=&；中纬度=22.562968864829&；经度中位数=88.389698473675&；ncatid=10496380&；mncatname=旅行社%20名；dcity=加尔各答&；pncode=999999&；htlis=0'
当我使用这个URL时，它返回一个空白列表。 我如何解决这个问题
Tags： fromhttpsimportcomurlwwwrequestsheader
热门问题
- plt.savefig不会覆盖现有文件
- plt.savefig不保存图像
- plt.savefig在jupyter笔记本中不起作用
- plt.savefig在从另一个fi调用时停止工作
- plt.savefig在调用plt.show之前保存空数字
- plt.save不创建png文件
- plt.scatter overlay分类数据帧列
- Plt.Scatter:如何添加title、xlabel和ylab
- plt.scatter（）绘图与Matplotlib中的plt.plot（）绘图类似
- plt.scatter错误'NoneType'对象在成功运行后没有属性'sqrt'
- plt.set_title（）中的标题字符串有误
- plt.show（）
- plt.show（）不在Jupyter笔记本上渲染任何内容
- plt.show（）不打印plt.plot only plt.scatter
- plt.show（）不显示三维散射图像
- plt.show（）不显示任何内容
- plt.show()不显示数据，而是保留它供下一个图表使用（spyder）
- plt.show（）使终端挂起
- plt.show（）无法使用此代码
- plt.show（）没有打开新的图形风
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
这将有助于您：
var
li_tags包含li标记的列表。这些li标记包含详细信息。您可以进一步解析这些li_标记以提取信息。例如，如果要刮除页面上显示的每张卡的heading和link，可以将以下行添加到代码中：输出：
相关问题 更多 >
编程相关推荐