使用BS4和请求使用代理解析RSS源时出错

2024-04-29 00:38:26 发布

您现在位置:Python中文网/ 问答频道 /正文

我尝试使用BeautifulSoup获取rss提要内容。当我解析https://habrahabr.ru/users/gordejvv/rss/posts/时,所有链接都可以正常工作,但一些rss提要出现错误:

requests.exceptions.ProxyError:HTTPConnectionPool(host='94.181.48.110',port=1256):url超过最大重试次数:http://www.allcio.ru/cionews/security/?rss=Y(由ProxyError('无法连接到代理')引起,NewConnectionError('<;urllib3.connection.HTTPConnection对象位于0x000025C264F8340>;:无法建立新连接:[WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклажааааааачаааааааааа

我也尝试用feedparser来做,但仍然存在错误 我的代码:

import requests
from bs4 import BeautifulSoup

URLS = [
'http://www.allcio.ru/cionews/security/?rss=Y',
'https://habrahabr.ru/users/gordejvv/rss/posts/'
]

PROXIES = {
    'http': 'http://94.181.48.110:1256'
}
def main1():
    for url in URLS:
        soup = BeautifulSoup(requests.get(url, proxies=PROXIES).content, "lxml")
        print(url)
        print(len(soup))

if __name__ == '__main__':
    main1()

Tags: httpshttpurlwwwru错误requestsusers