使用请求库清除带有隐藏参数的网站

Question

因此，我试图刮取受登录页保护的以下webpage。尽管如此，当我运行代码时，它会不断将我重定向到登录页面。我认为这可能是因为登录页面有一个隐藏的参数，尽管我真的不知道如何将它集成到我的有效负载中。下面是我写的代码

import requests

payloads = {"login": "pythonusername3" ,
"password": "pythonpassword3" }

with requests.Session() as session:
    session.post('https://member.expireddomains.net/login/', data=payloads)
    get = session.get("https://member.expireddomains.net/domains/pendingdelete/?o=statustld_registered&r=d").text
    print(get)

Answer 1

我使用PhantomJS web驱动程序单击登录表单，然后将cookie发送到请求模块

driver = webdriver.PhantomJS(executable_path = r'./phantomjs')
site = 'https://www.wanikani.com/login'

print 'Opening ' + site
driver.get(site)

驱动程序。通过id（“用户登录”）查找元素。发送密钥（“用户名xxxx”）

驱动程序。通过id（“用户密码”）查找元素。发送密钥（“密码XXX”） 驱动程序。通过类名称（“按钮”）查找元素。单击（）

cookie = driver.get_cookies()
s = requests.Session()

c = [s.cookies.set(c['name'], c['value']) for c in cookie]

https://community.wanikani.com/t/userscript-burn-manager-review-resurrect-retire/13001/56?u=polv