总是从curseforge.com（python）获得403响应

Question

main.py

import requests

link = 'https://www.curseforge.com/minecraft/mc-mods/jei'
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
    }

req = requests.get(link, headers=header)
print(req)

我已经尝试添加“referer”字段，但它仍然给我403响应，我甚至尝试使用requests.Session（）但这也不起作用，也许服务器需要一些特定字段来接受请求？感谢您的帮助

Answer 1

通过将此添加到url来修复此问题

'http://webcache.googleusercontent.com/search?q=cache:'

Answer 2

因为网站使用验证码来阻止非人类访问网站。通过将请求结果保存在文件中，然后在浏览器中打开，可以查看验证码页面：

from requests import get

result = get("https://www.curseforge.com/minecraft/mc-mods/jei")

with open("temp.html", "w") as f:
    f.write(result.text)