我怎样才能放慢速度请求。获取()网页功能?

2024-04-25 23:01:56 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在努力上网猫头鹰网. 我已经有了一份公司的名单,我想得到的只是他们的估计收入、员工人数和总部所在地。现在,我不想垃圾邮件的网站或任何东西,我不介意,如果它需要我像一个小时或更多的时间来获得所有的信息与较慢的要求,我只是不想复制和粘贴手动,因为它是非常乏味的。你知道吗

我没有垃圾邮件的任何要求,我只是做了一个测试,我最终刮了一个“异常检测”页面,说:“你是一个超级用户,通过这个网站移动速度超人。”这意味着我实际上被拒绝了。除非我遗漏了什么,否则我不能在“get()”函数中的某个地方合并sleep,因为它是“按原样”来的。我尝试了urllib库作为“请求”的替代品。但是,当我尝试使用这个库时,返回“HTTP错误405:不允许”

import bs4
from bs4 import BeautifulSoup as bs
from requests import get
import time

company = "Rockstar Games"
company = company.lower()

my_url1 = 'https://www.owler.com/company/'+ company.replace(" ", "")

time.sleep(1)
response = get(my_url1)
print("Opening "+my_url1)
print(response.text)

#This is all my code, I used nothing else and I didn't use any loops or spammed anything, I only accessed it once.

我希望得到回页面,这样我就可以访问元素,并获得其中的数据,但我得到一个验证码页代替。正如我所说,我的目的不是垃圾邮件他们的网站,只是自动化通常会花我2天,并会杀死很多脑细胞,如果我不得不这样做的手。你知道吗


Tags: fromimportgettime网站responsemy垃圾邮件

热门问题