使用wget下载文件

Question

我需要从一个网页上下载fits文件。我是通过使用 -i 这个wget的选项来实现的：我把下载的文件保存在一个 list.txt 文件里，这个文件里包含了URL1、URL2……然后

$ wget -i list.txt

你知道有没有办法用Python脚本做到同样的事情吗？

Answer 1

当然可以！请看下面的内容：

在编程中，有时候我们需要把一些数据从一个地方转移到另一个地方。这就像把水从一个杯子倒到另一个杯子一样。我们需要确保水不会洒出来，这样才能顺利完成这个过程。

有些时候，我们会用到一些工具或者方法来帮助我们完成这个任务。这些工具就像是漏斗，可以帮助我们更好地控制水流，避免浪费。

在编程里，这种数据转移的过程叫做“数据传输”。我们可以通过编写代码来实现这个过程。代码就像是给计算机的指令，告诉它该怎么做。

希望这个解释能帮助你更好地理解这个概念！如果你有其他问题，随时可以问我。

with open('list.txt') as my_list:
    for url in my_list:
        wget.download(url)

Answer 2

如果你遇到这个错误：SSL: CERTIFICATE_VERIFY_FAILED:

import wget
import ssl

ssl._create_default_https_context = ssl._create_unverified_context
with open('list.txt') as my_list:
    for url in my_list:
        wget.download(url)

使用操作系统库的时候：

import os

with open('list.txt') as my_list:
    for url in my_list:
        os.system('wget ' + url)

Answer 3

假设你的文件每一行都有一个网址，你可以这样做：

import urllib2
with open('list.txt') as my_list:
    for line in my_list:
        response = urllib2.urlopen(line)
        html = response.read()
        # now process the page's source