2024-04-19 16:10:39 发布
网友
我正在使用python和API进行一个web抓取项目 我希望python脚本作为一个作业每天运行5天12小时 我不想让我的系统在CMD或Jupyter中运行,所以我在寻找一个解决方案,其中任何云服务都可以帮助我实现流程自动化
一种方法是用Python编写一个web scraper,并在AWS Lambda上运行它,它本质上是一个无服务器的函数,没有底层操作需要管理。根据您的用例,您可以根据页面数据的内容执行一些操作,也可以将结果作为文件写入S3
为了让您的函数以循环方式执行,您可以将AWS Lambda事件触发器设置为CloudWatch事件(在本例中,您可以使用任意频率/时间的循环计时器,例如在周一到周五的12小时窗口中,每小时一次)
与启动虚拟服务器(EC2实例)和管理在等待/操作过程中可能因各种原因出错的持久进程相比,这通常是一种更简单的方法
一种方法是用Python编写一个web scraper,并在AWS Lambda上运行它,它本质上是一个无服务器的函数,没有底层操作需要管理。根据您的用例,您可以根据页面数据的内容执行一些操作,也可以将结果作为文件写入S3
为了让您的函数以循环方式执行,您可以将AWS Lambda事件触发器设置为CloudWatch事件(在本例中,您可以使用任意频率/时间的循环计时器,例如在周一到周五的12小时窗口中,每小时一次)
与启动虚拟服务器(EC2实例)和管理在等待/操作过程中可能因各种原因出错的持久进程相比,这通常是一种更简单的方法
相关问题 更多 >
编程相关推荐