亚马逊Lambda是否适合同时计算数百份报告？

Question

我的现状：

我目前有一个Python脚本，它通过HTTP端点获取数据，每天计算并生成成百上千的报告。目前，它运行在一个awsec2实例上，其中使用一个队列将需要生成的报告分为四个线程。脚本一次获取四个数据，计算每个报表，并将其保存到PostgreSQL Amazon RDS中。在

问题：

随着项目规模的扩大，我的脚本将无法足够快地计算，也无法用当前方法在一天内生成所需的所有报表。在

寻找解决方案：

我偶然发现了Amazon Lambda，但我没有发现有人将其用于与我类似的用例。我的计划是将需要生成的每个报表上传/放入它自己的s3bucket中，然后在创建bucket时触发Lambda函数。Lambda函数将执行所有数据获取（从HTTP端点）和所有计算，并将其保存到PostgreSQL Amazon RDS中的一行。从理论上讲，这将使所有东西都是并行的，并且消除了等待资源释放的队列的需要。在

基本上，我正在寻找一个解决方案，以确保我的脚本能够每天运行并完成每一天，而不会过度运行到第二天。在

我的问题：

亚马逊Lambda适合这种东西吗？在

使用amazonlambda（每天创建成百上千个s3存储桶）进行这样的操作会不会代价高昂？在

有更好的选择吗？在

任何帮助、建议、见解或提示都将不胜感激。谢谢！在

Answer 1

Would Amazon Lambda be suitable for something like this?

• 你的跑步时间不能超过5分钟。在
• 部署（特别是当您有许多外部库时）有点笨拙
• 您几乎无法控制AWS如何运行代码（可能会有延迟或暂停，日志更难获取）

如果这些对你来说不是很严重的问题，我认为你的问题听起来很合适。在

Would it be costly to do something like this with Amazon Lambda (creating hundreds/thousands of s3 buckets a day)?

请参见Lambda Pricing和S3 Pricing。在

每天创建数千个bucket听起来是个坏主意（AWS可能不允许）。默认情况下，您的帐户中可以有100个存储桶，每个存储桶名称都是全局的（对于该区域）。也许你是说一个桶里有几千把钥匙？在

所有这些都取决于报表的大小、创建报表所需的时间和内存，以及从AWS获取报表的频率（这是您为数据传输付费的时候）。AWS有一个cost calculator尽管这有点痛苦，所以您可能更愿意自己从他们的定价页面中找出答案。在

Is there better options?

如果您的报告几乎是不断生成的，那么您最好继续自己运行服务器。如果您偶尔得到非常大的批处理，那么您最好是在现场竞价实例或查看其他云服务提供商。如果你一整天都有不规则的爆发，那么Lambda似乎非常适合你。在