如何每五分钟下载一个网页？

Question

我想下载一系列网页。我知道wget这个工具可以做到这一点。不过，每五分钟下载一次所有的链接，并把它们保存到一个文件夹里，似乎超出了wget的能力。有没有人知道用Java、Python或者Perl可以完成这个任务的工具呢？

提前谢谢大家。

Answer 1

听起来你想要用 cron 和 wget 来实现这个功能。

---

不过如果你坚持要用 Python 的话：

import time
import os

wget_command_string = "wget ..."

while true:
    os.system(wget_command_string)
    time.sleep(5*60)

Answer 2

写一个bash脚本，使用wget这个工具，并把它放到你的定时任务中，让它每5分钟运行一次。你可以用这个格式来设置定时任务： (*/5 * * * *)

如果你想保存所有这些网页的历史记录，可以在脚本开始的时候设置一个变量，记录当前的时间，然后把这个时间加到输出文件的名字里。