如何在AWS Glu中运行查询

Question

我有我需要的数据在AWS红移。它在一个名为Lz（Landingzone）的数据库中。 将数据插入名为Stage的数据库（相同的红移）。 我有（select）查询将数据从原始状态（LZ）转换为我需要的维度和事实。 传统上，我会将这些查询与insert结合使用来转换数据。结果将合并到数据仓库中（同样：相同的redshift）

我怎么用胶水做这个？我可以使用python在作业中执行查询吗？或者，我可以在redshift中创建由作业/从作业执行的存储过程吗？在

Answer 1

我不认为你现在可以从glue以一种严格的、有计划的方式运行redshift sql（不幸的是）。在我看来，这是产品的一个重大遗漏。在

可以选择使用本文中描述的pre/post语句。这是很基本的，可能不能满足你的需要。在

https://aws.amazon.com/premiumsupport/knowledge-center/sql-commands-redshift-glue-job/

您可以使用一个“适当的”调度产品（如flow）或crontab和bash脚本来执行以下操作 1） 监视粘合作业（从属作业）的状态 2） 在redshift上运行sql

您还可以使用cloudwatch（监视glue完成情况）和lambda（运行redshift sql），但是由于lambda作业的运行时间限制（可能比完成redshift sql所需的时间短），我不建议使用这种方法