GAE：任务的聚合工作结果？（针对GAE查询性能问题）

Question

这些选项中哪一个最适合跨越GAE的工作（在最短的时间内完成）？你知道吗

• 任务的使用，将结果存储在memcache中，在请求中定期查询memcache，希望任务及时完成
• 不过，使用urlfetch来获取任务结果、错误处理和安全性将是一个难题。你知道吗
• 使用后端实例？（看起来很疯狂）
• 或者一个JAVA实例（看起来很疯狂）

背景： 甚至不得不这样做都是荒谬的。我需要以JSON的形式交付10k个数据存储项。显然，问题是Python需要花费大量时间来处理数据存储结果（Java似乎要快得多）。这是很好的覆盖： 25796142，11509368和 21941954

方法： 由于在软件方面没有什么要优化的（不能重写GAE），所以方法是跨多个实例进行计算并聚合结果。你知道吗

仅查询键和为2k个项目的块获取查询游标的性能相当好，可以剥离这些任务以获得2k个块的结果。问题是如何最好地汇总结果。你知道吗

Answer 1

必须这样做并不“荒谬”：这是GAE提供的可伸缩性的公认结果。如果您不喜欢为实现这种可伸缩性所做的权衡，那么您应该选择另一个平台。你知道吗

还不清楚为什么您认为使用后端实例是“疯狂的”。使用Java确实很奇怪，但这仅仅是因为没有理由认为它的性能会更好。你知道吗

然而，有一个非常好的方法可以做到这一点，它不涉及任何你提到的黑客，那就是使用mapreduce framework，这是专门用来收集大量数据的。你知道吗