有人知道我们是否可以基于SQ在Aurora启动一个stored过程

2024-06-13 01:42:50 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图将数据从Aurora导出到S3中,我创建了一个存储过程来执行这个操作。我可以在Aurora调度程序上安排它在特定的时间点运行。在

但是,我有多个表-可能会增加到100个;所以我希望我的进程控制器(位于Lambda中的python脚本)发送一个队列消息-基于这个队列消息,Aurora中的存储过程将启动

我看这个有以下原因

  • 我不想在开始两次出口之间有太多的时间差
  • 我也不希望两个导出在执行时间上重叠

Tags: 数据lambda程序脚本消息s3队列进程
3条回答

正如您所说,您正试图按计划将数据从Aurora导出到S3。
我建议您使用AWS Data Pipeline服务。
这是解决这类问题的正确方法。在

AWS Data Pipeline is a web service that helps you reliably process and move data between different AWS compute and storage services, as well as on-premises data sources, at specified intervals. With AWS Data Pipeline, you can regularly access your data where it’s stored, transform and process it at scale, and efficiently transfer the results to AWS services such as Amazon S3, Amazon RDS, Amazon DynamoDB, and Amazon EMR.

我使用了lambda和alembic包来创建模式和结构。我知道我们可以创建用户并执行其他数据库命令—与执行存储过程相同

Lambda可能会很贵-我们可能会有一个容器来做

没有任何允许SQS与Aurora交互的内置集成。在

显然,您可以在外部使用从队列读取并调用过程的队列使用者来执行此操作,但在这里这似乎与此无关。在

相关问题 更多 >