我尝试使用BeautifulSoup获取rss提要内容。当我解析https://habrahabr.ru/users/gordejvv/rss/posts/时,所有链接都可以正常工作,但一些rss提要出现错误:
requests.exceptions.ProxyError:HTTPConnectionPool(host='94.181.48.110',port=1256):url超过最大重试次数:http://www.allcio.ru/cionews/security/?rss=Y(由ProxyError('无法连接到代理')引起,NewConnectionError('<;urllib3.connection.HTTPConnection对象位于0x000025C264F8340>;:无法建立新连接:[WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклажааааааачаааааааааа
我也尝试用feedparser来做,但仍然存在错误 我的代码:
import requests
from bs4 import BeautifulSoup
URLS = [
'http://www.allcio.ru/cionews/security/?rss=Y',
'https://habrahabr.ru/users/gordejvv/rss/posts/'
]
PROXIES = {
'http': 'http://94.181.48.110:1256'
}
def main1():
for url in URLS:
soup = BeautifulSoup(requests.get(url, proxies=PROXIES).content, "lxml")
print(url)
print(len(soup))
if __name__ == '__main__':
main1()
目前没有回答
相关问题 更多 >
编程相关推荐