有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

带Redis的爪哇芹菜vs单用Redis

我很难理解使用芹菜的好处是什么。我知道你可以将芹菜与Redis、RabbitMQ等一起使用,但我为什么不直接获取这些消息队列服务的客户端,而不是坐在芹菜前面呢


共 (1) 个答案

  1. # 1 楼答案

    使用芹菜的优点是,我们主要需要编写任务处理代码,芹菜框架负责处理任务交付到任务处理器的过程。通过运行更多并发性更高的芹菜工人(更多的处理线程/进程),扩展任务处理也很容易。我们甚至不需要编写代码来将任务提交到队列并使用队列中的任务。 此外,它还内置了为任何任务队列添加/删除使用者的功能。该框架支持任务重试、故障处理、结果累积等。它有许多功能,帮助我们只专注于实现任务处理逻辑

    打个比方,在Hadoop上实现map reduce程序并不是一项非常复杂的任务。如果数据很小,我们可以编写一个简单的Python脚本来实现map reduce逻辑,它将比处理相同数据的Hadoop map reduce作业性能更好。但是,当数据非常庞大时,我们必须在机器之间划分数据,我们需要在机器之间运行多个进程,并协调它们的执行。其复杂性在于在多台机器上运行多个映射器实例,然后还原任务,收集输入并将输入分发给映射器,将映射器的输出传输到适当的还原器,监控进度,重新启动失败的任务,检测作业完成情况等。 但是因为我们有Hadoop,所以我们不需要太在意执行分布式作业的潜在复杂性。同样,芹菜也帮助我们主要关注任务执行逻辑