Python从fi读取url

2024-04-26 00:25:24 发布

您现在位置：Python中文网/ 问答频道 /正文
8301 3

实际上，我是从一个每行包含一个url的文件中读取url，但是在循环中，当我在python中读取并打开该url时，这会给出错误响应的输出

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN""http://www.w3.org/TR/html4/strict.dtd">
<HTML><HEAD><TITLE>Bad Request</TITLE>
<META HTTP-EQUIV="Content-Type" Content="text/html; charset=us-ascii">   
</HEAD>
<BODY><h2>Bad Request - Invalid URL</h2>
<hr><p>HTTP Error 400. The request URL is invalid.</p>
</BODY></HTML>
#$#$#$#$#$#$#$#$#$#$#$#
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN""http://www.w3.org/TR/html4/strict.dtd">
<HTML><HEAD><TITLE>Bad Request</TITLE>
<META HTTP-EQUIV="Content-Type" Content="text/html; charset=us-ascii">    
</HEAD>
<BODY><h2>Bad Request - Invalid URL</h2>
<hr><p>HTTP Error 400. The request URL is invalid.</p>
</BODY></HTML>
#$#$#$#$#$#$#$#$#$#$#$#

这是2个url的输出。你知道吗

但当我在文件中只添加一个Url时，它可以很好地读取并输出实际的HTML页面。（偶数循环）

这是我的python代码

import time
import cfscrape
scraper = cfscrape.create_scraper()
f = open('links.txt')
f2 = open('pages.html','a')
for line in iter(f):
    line2 = line
    page = scraper.get(line2).content
    f2.write(page)
    f2.write("#$#$#$#$#$#$#$#$#$#$#$#")
    time.sleep(30)
f.close()
f2.close()

下面是链接.txt文件包含

http://kissmanga.com/Manga/Mekakushi-no-Kuni
http://kissmanga.com/Manga/Gigi-Goegoe

Tags： 文件httpurltitlerequesthtmlbodyh2
1条回答
网友
1楼 · 发布于 2024-04-26 00:25:24

尝试将line2 = line更改为line2 = line.strip()

相关问题 更多 >

    编程相关推荐