动觉是适合我需要的工具吗？（其他分类问题（&O）

Question

我需要每秒处理100条记录。这些记录是简单的JSON体，应该收集它们，然后处理/转换成数据库。你知道吗

有几个问题。。。你知道吗

1）动觉学是否适用于此？还是SQS更适合？你知道吗

2）在使用kinesis时，我是想使用这里所示的python示例：https://aws.amazon.com/blogs/big-data/snakes-in-the-stream-feeding-and-eating-amazon-kinesis-streams-with-python/还是应该用KCL实现生产者和消费者？有什么区别？你知道吗

3）Kinesis是否为消费者的管理提供了任何帮助，还是我只是在EC2实例上运行它们并自己管理它们？你知道吗

4）访问数据的正确模式是什么？我不能错过任何记录，因此我假设我将从“TRIMïu HORIZON”而不是“LATEST”获取记录。如果是，如何管理副本？换句话说，我的消费者如何从流中获取记录，如何处理掉的消费者，等等，并且总是知道他们正在获取所有记录？你知道吗

谢谢！你知道吗

Answer 1

1. 对于流式传输数据或在消息之间需要严格排序时，动态信息更有用。另一方面，用例似乎更像是两个服务之间的缓冲解决方案。所以，比起动觉，我更喜欢SQS。SQS也更便宜，更简单的工作，应该很容易处理您所需的规模。你知道吗
2. 您共享的示例使用了低级别的Kinesis api。但是，您应该更喜欢使用KPL和KCL分别实现生产者和消费者，因为它们提供了更易于使用的高级构造。你知道吗
3. 您可以在EC2或Lambda上运行Kinesis和SQS生产者和消费者。在后者中，AWS将负责您的硬件管理。你知道吗
4. 是的，你应该用TRIM_HORIZON。如果您的数据中存在重复项，您的消费者应该通过自己记账来处理这些重复项。至于消费者下跌等，KCL处理这些案件优雅。你知道吗