从网页上刮桌子

Question

嗨，我正在尝试从web https://html5test.com/抓取和解析所有表数据。 所以，我写了以下内容代码。但是它没有显示任何数据。我把问题的答案看了一遍，但没有找出问题所在。你知道吗

from BeautifulSoup import BeautifulSoup
from urllib2 import urlopen
import re


url='https://html5test.com/'
data=urlopen(url)

parse=BeautifulSoup(data).findAll('div', attrs={'class': 'resultsTable detailsTable'})

Answer 1

查看源代码（在Chrome中查看源代码：https://html5test.com/），我实际上找不到“resultsTable”类。看起来这是使用JavaScript动态生成的。您需要一个scraper来呈现JavaScript，例如，Scrapy with Splash（参见https://blog.scrapinghub.com/2015/03/02/handling-javascript-in-scrapy-with-splash/）。你知道吗