如何在云服务上运行python代码,使其自动运行5天

2024-04-19 16:10:39 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用python和API进行一个web抓取项目 我希望python脚本作为一个作业每天运行5天12小时 我不想让我的系统在CMD或Jupyter中运行,所以我在寻找一个解决方案,其中任何云服务都可以帮助我实现流程自动化


Tags: 项目脚本cmdapiweb系统作业jupyter
1条回答
网友
1楼 · 发布于 2024-04-19 16:10:39

一种方法是用Python编写一个web scraper,并在AWS Lambda上运行它,它本质上是一个无服务器的函数,没有底层操作需要管理。根据您的用例,您可以根据页面数据的内容执行一些操作,也可以将结果作为文件写入S3

为了让您的函数以循环方式执行,您可以将AWS Lambda事件触发器设置为CloudWatch事件(在本例中,您可以使用任意频率/时间的循环计时器,例如在周一到周五的12小时窗口中,每小时一次)

与启动虚拟服务器(EC2实例)和管理在等待/操作过程中可能因各种原因出错的持久进程相比,这通常是一种更简单的方法

相关问题 更多 >