awsec2：如何处理具有100个并行EC2实例的队列？

Question

（ubuntu 12.04）。我设想使用某种队列来放置数千个任务，并让ec2设备并行地（100个ec2实例）处理队列中的一个任务。在

另外，每个ec2实例都要使用我提供的映像，其中将安装二进制文件和软件以供使用。在

基本上，我要做的是，在Amazon的EC2上并行运行100个处理（一个python函数，使用依赖于安装在该映像上的二进制文件的包），关闭它们，并在需要时重复这个过程。在

这可行吗？我使用Python Boto来完成这个任务。在

Answer 1

这是可行的。你应该考虑使用SQS。作业被放置在队列中，工作机实例将作业从队列中弹出并执行适当的工作。作业完成后，工作进程将从队列中删除该作业，因此不会有作业运行一次以上。在

您可以在引导时使用用户数据配置实例，也可以使用预安装的所有软件烘焙AMI。我推荐使用Packer来烘焙AMI，因为它工作得非常好，而且非常可编写脚本，因此您的AMI可以在需要更改时进行一致的重建。在

要打开和关闭大量实例，请考虑使用AutoScaling。只需将组的所需容量设置为您想要运行的worker实例的数量，它将负责其余的工作实例。在