在python中使用selenium从网页获取表数据

Question

我是一个非常新的网页刮削。我有以下网址：

https://www.bloomberg.com/markets/symbolsearch

因此，我使用Selenium输入符号文本框，然后按FindSymbols来获取详细信息。代码如下：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("https://www.bloomberg.com/markets/symbolsearch/")
element = driver.find_element_by_id("query")
element.send_keys("WMT:US")
driver.find_element_by_name("commit").click()

它返回表。我怎样才能找回它？我真是太傻了。在

第二个问题， 我能在没有硒的情况下做到这一点吗？因为它会减慢速度？有没有办法找到一个返回JSON的API？在

Answer 1

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
from bs4 import BeautifulSoup
import requests
driver = webdriver.Firefox()
driver.get("https://www.bloomberg.com/markets/symbolsearch/")
element = driver.find_element_by_id("query")
element.send_keys("WMT:US")
driver.find_element_by_name("commit").click()
time.sleep(5)
url = driver.current_url
time.sleep(5)

parsed = requests.get(url)


soup = BeautifulSoup(parsed.content,'html.parser')
a = soup.findAll("table", { "class" : "dual_border_data_table" })

print(a)

下面是您可以获得要查找的表的总代码。拿到桌子后做你需要做的事。希望有帮助