如何用Python编写一个不停歇的爬虫并在服务器上运行？

Question

我想用Python写一个爬虫，让它去访问一些网址，抓取数据并保存下来。我知道怎么写一个简单的程序，但我想把它放到我的虚拟服务器上（运行的是Ubuntu系统），让它一直不停地工作。有没有人能告诉我该怎么做呢？

Answer 1

你想要做的就是把这个程序变成一个守护进程。这个链接会对你创建守护进程有帮助。

把程序变成守护进程后，它就可以在后台运行。这样，只要服务器在运行（即使没有用户登录），它就会一直运行下去。

下面是一个示例守护进程，它会把时间写入一个文件。

import daemon
import time

def do_something():
    while True:
        with open("/tmp/current_time.txt", "w") as f:
            f.write("The time is now " + time.ctime())
        time.sleep(5)

def run():
    with daemon.DaemonContext():
        do_something()

if __name__ == "__main__":
    run()