擅长:python、mysql、java
<p><a href="https://blogs.aws.amazon.com/bigdata/post/Tx3KH6BEUL2SGVA/Building-Scalable-and-Responsive-Big-Data-Interfaces-with-AWS-Lambda" rel="nofollow">AWS Big Data blog</a>引入了一种体系结构,用Lambda并行处理S3中的大量文件。原型级实现在节点.js,但体系结构与语言无关。此解决方案假定您可以分发处理。在</p>
<p><em>总结一下:</p>
<ol>
<li>这个想法是运行一台接收报告请求的EC2机器。这台机器在S3中创建一个源文件列表(在您的例子中可能是http端点),它将其分发给Lambda函数的第一级。在</li>
<li>这些函数中的每一个都将任务分配给叶级辅助函数。在</li>
<li>所有的结果都被聚合回EC2机器,EC2机器实时地将结果流式传输给用户(在您的例子中可能是RDS)。在</li>
</ol>
<p>您的用例是不同的,但是本文展示了一种在非常短的时间内并行运行大量分析任务的简单方法。在</p>
<p>所介绍的原型实现缺少生产中需要的几个明显特性,因此只能用于演示。也请看一看作者在评论中的精彩的Re:invent演示文稿。在</p>