自动运行Python网页爬虫程序

Question

我想要定期从一个特定的网站上抓取数据，也就是做网页抓取。我希望这个用Python写的程序能够每天自动运行几次。这样做可以吗？如果可以的话，我该怎么做呢？我的操作系统是Ubuntu。

Answer 1

你有几个选择可以考虑。你可以让你的Python代码像这个回答里那样，自己完成所有的工作：https://stackoverflow.com/a/15090893/1165441

或者，如果你想设置一个定时任务来执行你的脚本，这里有关于Ubuntu的操作说明：https://help.ubuntu.com/community/CronHowto

我个人觉得使用定时任务更干净，因为这样可以把不同的事情分开处理，但快速简单的方法也能奏效。