BS4在Cloudflare网站而不是实际网站上返回

Question

这是我的密码。这是可行的，但当代码打印时，打印的是DDOS攻击网站，而不是加载后的网站。我甚至试着做一个time.sleep(5)来帮助计时

我怎样才能克服这一点

import requests
from bs4 import BeautifulSoup
import time


url = 'https://www.psacard.com/cert/49628062'
headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:80.0) Gecko/20100101 Firefox/80.0'}
soup = BeautifulSoup(requests.get(url, headers=headers).content, 'html.parser')

for a in soup.select('div'):
    print(a)

Answer 1

如果网页的任何部分都是动态呈现的，例如使用Javascript，beautifulsoup可能无法处理。 使用Selenium进行刮削