从bing中提取链接

2024-04-27 00:50:17 发布

您现在位置:Python中文网/ 问答频道 /正文

我在使用Python和BeautifulSoup从Bing搜索引擎中提取url时遇到了一个问题。我想提取<div class="b_title">标记中的内容,但是当我运行这段代码时,urls变量是空的:

import requests, re
from bs4 import BeautifulSoup
payload = { 'q' : 'sport', 'first' : '11' }
headers = { 'User-agent' : 'Mozilla/11.0' }
req = requests.get( 'https://www.bing.com/search', payload, headers=headers )
soup = BeautifulSoup( req.text, 'html.parser' )
urls = soup.find_all('div', class_="b_title")
print urls

Tags: 标记importdivurltitlerequestsurlsreq