如何将整个数据目录与RD同步

Question

我的目标是总是自动复制一个带有RDS（MSSQL）模式的S3 bucket

我有一个胶水爬虫是由一个lambda函数在每个S3上传触发。因此，数据目录总是与S3同步。我能够创建自动从目录上传特定表的粘合作业。 如果用户上载了一个包含新列的新表，我必须手动为该表创建一个新作业。有没有办法使这个手动步骤自动化

Answer 1

如果您想在爬虫发现新表时触发一些逻辑，我建议您考虑为Glue服务中的状态更改创建Cloudwatch Event Rule。具体来说，您可以在数据目录数据库或表的状态更改时调用服务（即Lambda函数）

此lambda函数可以检查状态更改事件，并使用其中一个SDK为新表创建作业