网页中的Cookies重新加载,爬虫程序停止工作

2024-05-01 22:04:02 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个爬虫,它必须有cookies才能工作。如果我从标题中删除cookies,request.get将返回“超过30个重定向”

endpoint = {
    'points':'website'
}

h = {
    'Cookie': 'cookies-value',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'

}

    print('### START CRAWLING ')

    session = requests.Session()
    try:
        session = requests.post(endpoint['login'], params = {'username':auth['user'],'passwd':auth['pass']})
        print('### Login Success!')
    except Exception as e:
            print(e)

    print('### Creating o Request...')
    try:
        data = requests.get(endpoint['points'], headers = h)
        print('### Success!')
    except Exception as e:
            print(e)

在代码中,如果我删除cookies,它将返回超过30个重定向。问题是网页会重新加载cookies,每次刷新时我都要硬编码


Tags: authgetsessionasexceptionrequestsendpoint重定向