请求未在包含大量内容的url上完成

2024-03-29 12:54:09 发布

您现在位置:Python中文网/ 问答频道 /正文

我无法修复requests.get问题,因为url命中的内容呈现速度为50 MB。浏览器总共需要4分钟才能获取/显示完整的响应,而requests.get()会一直运行

response = requests.get('http://<url-that-renders-contents-as-raw-data>', headers=<headers>, cookies=<cookies>, verify=False, stream=True)

由于一些隐私问题,我们无法共享实际的URL/headers/cookies等其他参数,但是我们如何获取URL的响应。当get请求被点击时,URL的内容(可能以块的形式)会获得MBs的原始数据/日志/行

编辑:实际上,它是一个SimpleHTTPServer或SimpleAuthServer,我需要从中通过http获取一个大文件


Tags: httpurl内容getthatresponsecontents浏览器
2条回答

我真诚的道歉,我也一直在使用任务受让人提供的非常少的信息-实际上URL本身无法从实例访问。对我有效的方法最终是@congbauguier建议的:Download large file in python with requests

你是如何在这里得到回复内容的?因为您已经设置了stream=True,所以它只需要下载头文件,然后等待您使用Response.iter_linesResponse.iter_content或对Response.raw输出流执行直接IO来获取实际数据

没有更多的信息很难帮助你,但是因为所有这些都应该有“界限”,你可以看看你的阅读进度,看看它是否被完全锁定。或者,如果您甚至没有达到这一部分(此时您可能希望启用http.client和urllib3的低级日志记录,这非常嘈杂,但会提供更多的细节)

相关问题 更多 >