为什么Beauty Soup不打印网站上的文字（路透社），即使文字清楚地存在于网站上？

Question

我正在从这个网站上抓取日期：https://www.reuters.com/article/us-usa-banks-conference-jpmorgan/jpmorgan-ceo-dimon-sees-u-s-economic-expansion-continuing-idUSKCN1IX508

当我试图获取页眉/灰色文本区域中的日期时，该日期无法打印

page = requests.get("https://www.reuters.com/article/us-usa-banks-conference-jpmorgan/jpmorgan-ceo-dimon-sees-u-s-economic-expansion-continuing-idUSKCN1IX508")
soup = BeautifulSoup(page.content, 'lxml')

headlines = soup.find_all('time')
for headline in headlines:
    headline_text = headline.get_text(strip=True)
    print("done:", headline_text)

此代码输出：

done: 
done: 
done: Updated

下图显示有清晰的文字，但为什么“2018年6月1日”没有打印出来

我尝试过使用html.parser和lxml，但两者都不起作用

Answer 1

该网站是动态加载的，因此requests不支持它。我们可以使用Selenium作为刮取页面的替代方法

安装时使用：pip install selenium

从here下载正确的ChromeDriver

from time import sleep
from selenium import webdriver
from bs4 import BeautifulSoup

URL = "https://www.reuters.com/article/us-usa-banks-conference-jpmorgan/jpmorgan-ceo-dimon-sees-u-s-economic-expansion-continuing-idUSKCN1IX508"

driver = webdriver.Chrome(r"c:\path\to\chromedriver.exe")
driver.get(URL)

# Wait for the page to fully render
sleep(5)

soup = BeautifulSoup(driver.page_source, "html.parser")

for tag in soup.find_all("time"):
    print(tag.get_text(strip=True))

driver.quit()

输出：

June 1, 2018
9:21 AM
Updated 2 years ago