我正在努力刮谷歌搜索结果。这样的话,去谷歌搜索“苹果”。您将看到,在知识框中搜索结果的右侧列中有一个“股票价格:AAPL”
我需要从搜索结果中删除AAPL。一旦我检查了源代码,我发现它是“kno-fv”
page = requests.get("https://www.google.com/search?rlz=1C1CHBF_enUS916US916&ei=R3VZX_OGNvG9gge5n42YDw&q=apple&oq=aaple&gs_lcp=CgZwc3ktYWIQAzIQCC4QsQMQxwEQowIQQxCTAjIECAAQQzILCC4QsQMQxwEQowIyCAgAELEDEIMBMgQIABBDMgcIABCxAxBDMgUIABCxAzICCAAyBQgAELEDMggILhDHARCvAVAAWABgiiBoAHAAeACAAZIBiAGSAZIBAzAuMZgBAKoBB2d3cy13aXrAAQE&sclient=psy-ab&ved=0ahUKEwizxsCurN3rAhXxnuAKHblPA_MQ4dUDCA0&uact=5")
soup = BeautifulSoup(page.content, 'html.parser')
ticker=soup.find('span', attrs={'class': "kno-fv"})
data = ticker.get_text()
然而,它不断给我错误或找不到“AAPL”
Google在没有适当的用户代理头的情况下阻止。我已经从您的代码示例中将用户代理字符串传递给了
requests.get
,它成功地提取了AAPL ticker输出
或者,如果您只想访问从搜索结果中提取的数据而不必删除Google,您可以使用SerpApi。这是一项免费试用的付费服务
输出
免责声明:我在SerpApi工作
相关问题 更多 >
编程相关推荐